A/B测试从0到1 / 从原理到实战,吃透A/B测试
张博伟
FLAG资深数据科学家
 
  • 课程目录
  • 课程介绍
  • 开篇词|用好A/B测试,你得这么学

    我会系统地梳理和总结下自己在硅谷成熟科技公司学到的知识经验,并分享给你。

  • 01 | 统计基础(上):系统掌握指标的统计属性

    在学习、解决技术问题的时候,我们都知道有这么一句话“知其然知其所以然”。那么,A/B测试的“所以然”是什么呢?

  • 02|统计基础(下):深入理解A/B测试中的假设检验

    假设检验:选取一种合适的检验方法,去验证在A/B测试中我们提出的假设是否正确。

  • 导读 | 科学、规范的A/B测试流程,是什么样的?

    A/B测试的实践性很强,但最核心的就是这5个部分:确定目标和假设、确定指标、确定实验单位、估算样本量以及分析测试结果。

  • 03|确定目标和假设:好的目标和假设是什么?

    确定目标和假设、确定指标决定了测试的方向。那么,如何把业务问题转化为A/B测试的目标和假设呢?又如何根据目标来选择指标?

  • 04|确定指标:指标这么多,到底如何来选择?

    在实际的复杂业务场景中,该怎么确定评价指标呢?为了确保A/B测试结果的可靠性,又应该如何去确定护栏指标呢?

  • 05|选取实验单位:什么样的实验单位是合适的?

    确定实验单位时,会有一个常见的误区:实验单位是用户吗?其实不是的。这节课我们来学习常用的实验单位,以及实践中的选择原则。

  • 06 | 选择实验样本量:样本量越多越好吗?

    实践和理论对样本量的需求,其实是一对矛盾,所以就要在二者间做个平衡:既保证样本量足够大,又要把实验控制在尽可能短的时间。

  • 07| 分析测试结果:你得到的测试结果真的靠谱吗?

    拿到测试结果后,就可以马上进行分析了吗?肯定不行。其实,分析结果并不难,难的是如何得出值得信赖的结果,给业务正确的指导。

  • 08 | 案例串讲:从0开始,搭建一个规范的A/B测试框架

    用一个音乐App提升留存率的案例,来串讲一下我们学过的统计知识,以及做A/B测试的几个核心步骤。

  • 09 |测试结果不显著,要怎么改善?

    我也是按照这个流程来设计A/B测试的啊,为什么我的实验结果不显著呢,我应该据此得出“两组指标事实上是相同的”结论吗?

  • 10|常见误区及解决方法(上):多重检验问题和学习效应

    我根据自己这些年做A/B测试的经验,精选了一些在实际业务中会经常遭遇的误区,今天主要讲一下多重检验问题、学习效应。

  • 11 | 常见误区及解决方法(下):辛普森悖论和实验组/对照组的独立性

    今天我们要解决的问题,是辛普森悖论和实验/对照组的独立性。这两个问题在A/B测试的实践中也是常客。

  • 12|什么情况下不适合做A/B测试?

    A/B测试可以解决大部分因果推断的问题。但在有些业务场景下,A/B测试就不适用了。我们就需要另辟蹊径,换一种思路和方法。

  • 13|融会贯通:A/B测试面试必知必会(上)

    今天我们来聊一个相对轻松点的话题:与A/B测试相关的面试应用。题目是无穷的,但考点有限,我把相关的考点总结成了一张图。

  • 14|举一反三:A/B测试面试必知必会(下)

    知识是业务精进的基础,但更为关键的是能够把知识举一反三,知道在不同的场景中如何应用,这也正是把知识转化为解决问题的能力。

  • 15|用R/Shiny,教你制作一个样本量计算器

    我今天教你的,就是把样本量计算工具化的详细过程——我会带你制作一个可以发布在网上的实时计算的A/B测试样本量计算器。

  • 结束语|实践是检验真理的唯一标准

    “实践是检验真理的唯一标准”。这句话很朴素,却是我这么多年和A/B测试朝夕相处的真实体会。

  • 结课测试题|这些A/B测试的知识你都掌握了吗?

    《A/B测试从0到1》课程结课了,来做一个小测试吧!

  • 加餐|试验意识改变决策模式,推动业务增长

    A/B测试需要长期坚持,要形成循环,而不仅仅是闭环。

你将获得

  • 互联网人必懂的A/B测试方法论
  • 手把手带你构建A/B测试流程体系
  • A/B测试常见使用场景及误区
  • A/B测试面试真题详解

讲师介绍

张博伟,目前在硅谷大厂FLAG任资深数据科学家,7年+数据科学从业经验。

擅长A/B测试在增长方面的应用,与工程、营销和产品团队合作,通过A/B测试已累积为公司带来百万级用户增长;作为数据科学的接头人,和工程团队一起改进提升公司内部的A/B测试平台。目前在FLAG作为数据科学Lead参与制定千万级用户产品的增长计划。

博伟老师还是热心的传道解惑者。在FLAG任职期间,已为数据分析、营销和产品团队提供数十场A/B测试的讲座和上百次的咨询,给他们讲解A/B测试的最佳实践以及避坑经验。

课程介绍

在大数据时代,业务的科学增长要靠数据来驱动。但是有很多人认为,数据驱动不就是做几次数据分析、产生一些报表嘛?当然不是了。要把数据真正用在公司/团队的业务决策流程中,A/B测试是非常关键的一环。

但A/B测试是一种实践性非常强的方法。其实,A/B测试的原理并不难,难的就是在面对千变万化的业务场景和数据时,该怎么灵活处理。毕竟在A/B测试都实施过程中,有太多琐碎的环节,也存在着太多的误区。

  • 一个科学、规范的做A/B测试的框架是什么样的?
  • 选取样本量时,真的是越多越好吗?
  • 复杂业务场景下,怎么选取评价指标呢?
  • 测试结果在预计时间之前达到了统计显著,实验是不是提前成功了呢?

很多人被这样的问题所困扰,这也是为什么我们经常会看到这样一个怪现象:如果没有扎实的统计学基础,那么肯定做不好A/B测试;可即使掌握了理论基础,在实施A/B测试中还是会遇到各种数据问题或者工程Bug。要是一不小心哪怕忽视了很小的一个点,实验结果就会变得不准确,所有的功夫就都白费了。

所以,我们特意邀请了美国互联网大厂FLAG的资深数据科学家张博伟,从框架搭建和实战解析两个层面,帮助你学会使用A/B测试,以及用好A/B测试。

老师将结合自己多年参与、主导A/B测试的经验,依据大量实践案例,从0到1帮你建立起一个科学、规范的做A/B测试的流程。除此之外,他还会梳理、总结出一些方法论,分享一些避坑经验,让你真正用A/B测试做好数据决策,让业务增长不止翻倍!

模块设计

课程主体包括三大模块。

统计篇:带你快速掌握A/B测试的统计学基础

这个模块精选了做A/B测试必须掌握的两大块统计学知识,包括A/B测试的理论基础假设检验、A/B测试的前提指标的统计属性,带你有针对性地、快速掌握A/B测试的理论知识。

基础篇:从0到1建立规范的A/B测试流程

这个模块将会按照做A/B测试的5个关键步骤来展开,也就是确定目标和假设、确定指标、选取实验单位、计算所需样本大小,以及分析测试结果。在讲解流程的同时,告诉你背后的原理,帮助你在实际应用时能举一反三。

进阶篇:带你绕过A/B测试实践中的坑

这个模块主要针对实际业务场景中潜在的坑,包括测试结果不显著怎么改善、A/B测试是不是万能的、多重检验等问题,还会为你梳理面试中常考的知识点。

此外,这个模块还会带你实战制作一个实用的样本量计算器,来解决网上工具参差不齐、适用范围有限等问题。

课程目录

特别放送