• AB测试从0到1-09测试结果不显著，要怎么改善？
  09 测试结果不显著，要怎么改善？ 你好，我是博伟。 通过“基础篇”的学习，你已经掌握了A/B测试的整体流程，那就可以参照这些流程设计一次A/B测试了。不过在具体实施的过程中，你会因为业务的复杂性、没有严格遵守规范的流程，或者数据本身的属性等，不可避免地遇到一些问题。 没错儿，这就是我在开篇词中和你说的，A/B测试的实践性非常强，你需要能够识别那些潜在的坑，并找到相应的解决方法。所以在接...
  2015-01-01 15:20:27 | AB测试从0到1
• AB测试从0到1-08案例串讲：从0开始，搭建一个规范的A_B测试框架
  08 案例串讲：从0开始，搭建一个规范的A_B测试框架 你好，我是博伟。 经过前面几节课的学习，相信你不仅掌握了做A/B测试的统计原理，还知道了一个规范的A/B测试的流程是什么样的，以及关键步骤中有哪些需要注意的地方。 今天这节课的内容，整体来说不会太难，主要是用一个音乐App提升留存率的案例，来串讲一下我们学过的统计知识，以及做A/B测试的几个核心步骤。 在学习这节课的过程中，一方面...
  2015-01-01 15:20:27 | AB测试从0到1
• AB测试从0到1-07分析测试结果：你得到的测试结果真的靠谱吗？
  07 分析测试结果：你得到的测试结果真的靠谱吗？ 你好，我是博伟。 经过前面的确定目标和假设、确定指标、选取实验单位、计算所需样本大小后，我们终于来到了A/B测试的最后一站：分析测试结果。 在正式开始之前，我想先问你一个问题：拿到测试结果之后，就可以马上进行分析了吗？肯定不行。因为只有确定测试结果值得信赖之后，才可以进行分析。其实，分析A/B测试结果并不难，难的是如何得出值得信赖的结果，...
  2015-01-01 15:20:27 | AB测试从0到1
• AB测试从0到1-06选择实验样本量：样本量越多越好吗？
  06 选择实验样本量：样本量越多越好吗？ 你好，我是博伟。 前面聊了很多A/B测试的准备工作，我们确定了目标和指标，也选取了实验单位，那么，现在可以正式开始测试了吗? 先别着急，我们还需要解决正式测试前的最后一个问题：到底多少样本量是合适的呢？ 打破误区：样本量并不是越多越好 如果我问你，做A/B测试时多少样本量合适，你的第一反应肯定是，那当然是越多越好啊。样本量越多，实验结果才会越...
  2015-01-01 15:20:27 | AB测试从0到1
• AB测试从0到1-05选取实验单位：什么样的实验单位是合适的？
  05 选取实验单位：什么样的实验单位是合适的？ 你好，我是博伟。 上节课我们确定了实验的目标、假设以及各类指标，那么今天我们就来讲一讲A/B测试的第三步：如何选取合适的实验单位。 前面我提到，A/B测试的本质就是控制变量实验。既然是实验，那就要有实验单位。毕竟，只有确定了实验单位，我们才能在这个单位层面进行合理的样本分配（Assignment），从而决定哪些样本在实验组（Treatmen...
  2015-01-01 15:20:27 | AB测试从0到1
• AB测试从0到1-04确定指标：指标这么多，到底如何来选择？
  04 确定指标：指标这么多，到底如何来选择？ 你好，我是博伟。 上节课，我们学习了确定评价指标的几种方法，包括量化产品/业务不同阶段的目标，采取定量+定性的方法，或者借鉴行业内其他公司的经验等。你也发现了，这些方法的局限性在于只能选出单个评价指标，而且也没有考虑到评价指标的波动性对结果准确度的影响。 今天我们会更进一步，去看看在实际的复杂业务场景中，确定评价指标的方法，以及计算指标的波动...
  2015-01-01 15:20:27 | AB测试从0到1
• AB测试从0到1-02统计基础（下）：深入理解A_B测试中的假设检验
  02 统计基础（下）：深入理解A_B测试中的假设检验 你好，我是博伟。 在上节课学习A/B测试指标的统计属性时，我用一句话给你简单解释了下假设检验：选取一种合适的检验方法，去验证在A/B测试中我们提出的假设是否正确。 这句话其实很抽象，所以今天这一讲，我们就具体展开下，看看假设检验是什么，以及如何利用假设检验来做出推断。 假设检验(Hypothesis Testing)是什么？ 假设...
  2015-01-01 15:20:27 | AB测试从0到1
• AB测试从0到1-01统计基础（上）：系统掌握指标的统计属性
  01 统计基础（上）：系统掌握指标的统计属性 你好，我是博伟。 在学习、解决技术问题的时候，我们都知道有这么一句话“知其然知其所以然”。那么，A/B测试的“所以然”是什么呢？在我看来，就是A/B测试背后的计算原理，知道A/B测试为什么要这么设计，最佳实践中为什么要选择这样的指标、那样的检验方法。 那说到A/B测试背后的计算原理，我们首先得知道，A/B测试的理论基础是假设检验（Hypoth...
  2015-01-01 15:20:27 | AB测试从0到1