A/B Test

A/B Test 是一个用于在线测试的常规方法,用于测试新产品或新功能。

可以用来提升客户体验,引流等。

如何操作

我们需要设置两组用户,一组设置为对照组,采用已有的产品或功能,另一组为实验组,采用新版产品或功能。 然后,找到上述两组用户做出的不同响应,确认哪个版本的功能更好。

A/B Test 适用情况

一个产品在遇到“影响大,选择难”问题的时候,是最适合做AB测试的。

存在明确的对照组和实验组,能够选择合适的指标评估此类改变,适合使用A/B Test。

我们可以通过A/B Test 对很大范围的事情进行测试,比如增加一些新功能,或界面中增加的内容,网站的不同外观等。

我们还可以将A/B Test用于十分复杂的改变,例如排名变动。

我们也可以针对不确定用户是否会注意到的改变进行测试,例如页面加载时间。

A/B Test 案例如下:

Amazon首次开始做个性化推荐时,他们想看一下用户是否真的会购买更多商品,他们发现,由于个性化推荐,他们的收益有了显著增加。

Linkedin测试了一个改变,尝试确定他们是否应显示新文章还是鼓励大家增加新联系人,这就是排名变动。

100ms的页面加载时间不是很多,但是 Google 和 Amazon 都运行了测试。Amazon 在2007年证实,每个页面增加 100ms 的延时,会导致收入降低 1%。对于Google,也得到了相似的结果。 你可以发现,平均来看,100ms 看起来并不多,但每增加 100ms 的延迟,人们查询的数量真的降低了。

这就是可以从 A/B Test中学到的东西。

A/B Test 不适用的情况

  • A/B Test 无法真实的告诉你是否遗漏了什么东西。

例如:亚马逊想知道页面上是否有用户需要,但是他们还没有提供的商品。这种情况没办法用 A/B Test 来寻找答案。

  • A/B Test 不适用与测试新的体验。

例如:某 SaaS 公司已经有了免费服务,例如有待办事项列表。他们想提供带有其他功能的高级服务,如需使用高级服务,用户需要升级,创建登录账户,并探索新的功能。

这种情况下,也不适合用 A/B Test 来寻找答案。

  • A/B 不适用与需要很长时间才能验证的测试。

例如:某租房网站,想测试促进用户推荐页面给好友有没有效果,但是这个效果检验需要很长时间,可能是一周,可能是半年,一年。因为租房并不是经常发生的。这种情况也不适合。

另外,当你测试新的体验时,你当前已有的那些用户,可能会觉得改变了他们的体验,这被称为改变厌恶症; 另一种情况是,他们觉得这些都是新的,然后尝试所有东西,这被称为新奇效应。

对于不适用情况,补充技术

用户在你的网站上进行操作的日志,可以通过检查或观察分析日志,得出结论,是什么原因造成其行为的改变。 然后可能要沿着这个方向努力,然后设计实验,完成随机化和试验,进行前瞻性分析。

可以把两种技术结合来使用:

查看操作日志得出假设,运行A/B Test验证你的理论是否合理。

还有一些其他技术:

用户体验研究 焦点小组 调查 人为评价

A/B Test 可以给我们大量宽泛的定量数据,而上述技术可以给我们非常深入的定性数据作为A/B Test 的补充。

这些技术可以告诉我们该爬哪座山,也就是得出假设。

A/B 测试最佳实践

1. 确立优化目标。

在图5的A/B测试流程体系中,首先要做的,就是确立想要优化的“目标”。

在这个过程中,我们建议大家一定要设立“可量化的、可以落实到某一个具体功能点的、可实施的小目标”。

举例来说,如果一个目标不好直接量化,例如“将用户满意度提升15%”,那么就不好形成一个具体的A/B测试方案。

同理,如果这个目标太大太宽泛,也不好落地。

一个可行的目标可以是“通过优化注册流程,将注册转化率提升20%”,这个目标可以量化,而且足够具体,可以在后续流程中形成一系列相关的A/B测试实验方案。

2. 分析数据。

通过数据分析,我们可以找到现有产品中可能存在的问题,只有先发现了某一个产品环节可能存在的问题,才好在后续流程中提出相应的优化方案,以优化这个环节的转化率。

3. 提出想法。

在这一步,我们可以针对数据分析发现的问题,针对性的提出产品优化的方案,例如优化流程以提高转化率,优化设计和文案等等。一般来说,A/B测试的想法会以“假设”的方式提出。

例如,“假设把注册流程中的图片校验码方式,改成短信校验码的方式,我们的注册转化率可能提升10%”。基于这个假设,我们会设计对应的A/B测试,并通过实验的数据验证这个假设是否成立。在后面的章节我们也会通过更多实际的A/B测试案例来跟大家分享一些相关经验。

4. 重要性排序。

在开发资源、版本排期、优先级等因素的制约下,我们很可能不能对所有的想法进行实验。在这一步,最重要的目的就是根据重要性、潜在收益、开发成本等因素对所有想法进行优先级的排序,并选择最重要的几个想法进行A/B测试。

5. 实施A/B测试并分析实验结果。

对于一个A/B测试来说,结果主要分成两种:有效和无效。无效的A/B测试实验对于团队来说,其实是非常宝贵的经验,这个时候我们可以把这些无效的实验转化成团队的经验,避免以后再犯同样的错误。而对于有效的A/B测试来说,我们成功通过实验提升了产品的转化率,这时我们可以把优胜的版本正式推送给全部用户,以实现产品用户的有效增长。

6. 迭代整个流程,进行下一轮A/B测试。

参考资料

AB测试介绍

什么是 A/B 测试?

如何进行 AB 测试

入门介绍

https://www.optimizely.com/optimization-glossary/ab-testing/

成熟产品

TestinData.AI 永久免费的智能优化&AB测试引擎

The A/B Testing Solution that Helps Increase Conversions on Your Website

unbounce