A/B Test

A/B Test 是一个用于在线测试的常规方法，用于测试新产品或新功能。

可以用来提升客户体验，引流等。

如何操作

我们需要设置两组用户，一组设置为对照组，采用已有的产品或功能，另一组为实验组，采用新版产品或功能。然后，找到上述两组用户做出的不同响应，确认哪个版本的功能更好。

A/B Test 适用情况

一个产品在遇到“影响大，选择难”问题的时候，是最适合做AB测试的。

存在明确的对照组和实验组，能够选择合适的指标评估此类改变，适合使用A/B Test。

我们可以通过A/B Test 对很大范围的事情进行测试，比如增加一些新功能，或界面中增加的内容，网站的不同外观等。

我们还可以将A/B Test用于十分复杂的改变，例如排名变动。

我们也可以针对不确定用户是否会注意到的改变进行测试，例如页面加载时间。

A/B Test 案例如下：

Amazon首次开始做个性化推荐时，他们想看一下用户是否真的会购买更多商品，他们发现，由于个性化推荐，他们的收益有了显著增加。

Linkedin测试了一个改变，尝试确定他们是否应显示新文章还是鼓励大家增加新联系人，这就是排名变动。

100ms的页面加载时间不是很多，但是 Google 和 Amazon 都运行了测试。Amazon 在2007年证实，每个页面增加 100ms 的延时，会导致收入降低 1%。对于Google，也得到了相似的结果。你可以发现，平均来看，100ms 看起来并不多，但每增加 100ms 的延迟，人们查询的数量真的降低了。

这就是可以从 A/B Test中学到的东西。

A/B Test 不适用的情况

A/B Test 无法真实的告诉你是否遗漏了什么东西。

例如：亚马逊想知道页面上是否有用户需要，但是他们还没有提供的商品。这种情况没办法用 A/B Test 来寻找答案。

A/B Test 不适用与测试新的体验。

例如：某 SaaS 公司已经有了免费服务，例如有待办事项列表。他们想提供带有其他功能的高级服务，如需使用高级服务，用户需要升级，创建登录账户，并探索新的功能。

这种情况下，也不适合用 A/B Test 来寻找答案。

A/B 不适用与需要很长时间才能验证的测试。

例如：某租房网站，想测试促进用户推荐页面给好友有没有效果，但是这个效果检验需要很长时间，可能是一周，可能是半年，一年。因为租房并不是经常发生的。这种情况也不适合。

另外，当你测试新的体验时，你当前已有的那些用户，可能会觉得改变了他们的体验，这被称为改变厌恶症；另一种情况是，他们觉得这些都是新的，然后尝试所有东西，这被称为新奇效应。

对于不适用情况，补充技术

用户在你的网站上进行操作的日志，可以通过检查或观察分析日志，得出结论，是什么原因造成其行为的改变。然后可能要沿着这个方向努力，然后设计实验，完成随机化和试验，进行前瞻性分析。

可以把两种技术结合来使用：

查看操作日志得出假设，运行A/B Test验证你的理论是否合理。

还有一些其他技术：

用户体验研究焦点小组调查人为评价

A/B Test 可以给我们大量宽泛的定量数据，而上述技术可以给我们非常深入的定性数据作为A/B Test 的补充。

这些技术可以告诉我们该爬哪座山，也就是得出假设。

A/B 测试最佳实践

1. 确立优化目标。

在图5的A/B测试流程体系中，首先要做的，就是确立想要优化的“目标”。

在这个过程中，我们建议大家一定要设立“可量化的、可以落实到某一个具体功能点的、可实施的小目标”。

举例来说，如果一个目标不好直接量化，例如“将用户满意度提升15%”，那么就不好形成一个具体的A/B测试方案。

同理，如果这个目标太大太宽泛，也不好落地。

一个可行的目标可以是“通过优化注册流程，将注册转化率提升20%”，这个目标可以量化，而且足够具体，可以在后续流程中形成一系列相关的A/B测试实验方案。

2. 分析数据。

通过数据分析，我们可以找到现有产品中可能存在的问题，只有先发现了某一个产品环节可能存在的问题，才好在后续流程中提出相应的优化方案，以优化这个环节的转化率。

3. 提出想法。

在这一步，我们可以针对数据分析发现的问题，针对性的提出产品优化的方案，例如优化流程以提高转化率，优化设计和文案等等。一般来说，A/B测试的想法会以“假设”的方式提出。

例如，“假设把注册流程中的图片校验码方式，改成短信校验码的方式，我们的注册转化率可能提升10%”。基于这个假设，我们会设计对应的A/B测试，并通过实验的数据验证这个假设是否成立。在后面的章节我们也会通过更多实际的A/B测试案例来跟大家分享一些相关经验。

4. 重要性排序。

在开发资源、版本排期、优先级等因素的制约下，我们很可能不能对所有的想法进行实验。在这一步，最重要的目的就是根据重要性、潜在收益、开发成本等因素对所有想法进行优先级的排序，并选择最重要的几个想法进行A/B测试。

5. 实施A/B测试并分析实验结果。

对于一个A/B测试来说，结果主要分成两种：有效和无效。无效的A/B测试实验对于团队来说，其实是非常宝贵的经验，这个时候我们可以把这些无效的实验转化成团队的经验，避免以后再犯同样的错误。而对于有效的A/B测试来说，我们成功通过实验提升了产品的转化率，这时我们可以把优胜的版本正式推送给全部用户，以实现产品用户的有效增长。