A/B 测试(中/英)

在线实验设计与分析

中级

大约 1 个月

6小时每周 (按照自己的节奏)

由以下企业参与制作:
加入成千上万的全球学员

开始免费课程

加入课程
免费
可享受
课程视频
实战练习与参考项目指导
中级

大约 1 个月

6小时每周 (按照自己的节奏)

由以下企业参与制作:
加入成千上万的全球学员

课程概述

本课程将介绍 A/B 测试(也叫做分离测试)的设计与分析。这是一项用于测试网站或移动应用潜在改进的在线实验。在实验过程中,会向不同用户展示两个网站版本——通常是现有网站和潜在改变版本。然后会分析结果来确定改变版本是否可以提升网站品质。此课程将涵盖如何选择和表征化指标,如何设计具有足够统计功效的实验,如何分析结果和得出有效结论,以及如何确保实验的参与者获得充分保护。此课程提供中文版本。

喜欢这门课程?加入“数据分析”纳米学位。

为什么学习这门课程?

业内众多公司,如 Google、Microsoft、Amazon、Ebay/Paypal、Netflix 等经常使用 A/B 测试(或叫分离测试)来决定值得做出哪些改变。使用 A/B 测试可以使你根据实际数据做出决策,而非依赖直觉或 HiPPO(收入最高者意见)!设计合理的 A/B 测试并得出有效结论并不容易。你永远不可能精确度量某些信息(例如网站的某个版本是否会让用户“更开心”),所有你需要找到合适的代理指标。你需要进行完整性检查,来确定你的实验设置没有缺陷,还需要使用各种统计技术来确保你得到的结果并非偶然。此课程将带你认识这整个流程。课程结束后,你将能够帮助大型和小型公司做出会对他们的未来产生重大影响的关键决定!

先修要求

此课程要求学习者具备描述统计学与推论统计学的入门知识。若你还不了解这些话题或需要温习一下,可查看优达学城课的推论统计学描述统计学课程。

不要求之前有 A/B 测试经验或编程经验。

查看使用优达学城的技术要求

你将学习什么内容?

项目

设计 A/B 测试

做出 A/B 测试的设计决策,包括使用什么衡量指标,以及运行测试的持续时间。分析优达学城已运行的 A/B 测试的结果并建议是否实施改变。

学习计划

第 1 课:A/B 测试概述

这节课将介绍 A/B 测试是什么以及它的用途。其中将包含一个 A/B 测试从头到尾的示例,包括如何决定实验的持续时间,如何为结果构造二项式置信区间,以及如何决定改变结果是否值得付出实施成本。

第 2 课:实验的政策与道德

这节课将介绍如何确保实验的参与者获得充分的保护,以及对于实验的道德性应该提出哪些问题。其中将涵盖设计实验时需考虑的四个主要道德原则:对于用户的风险、潜在益处、用户参与实验时的备选项,以及所收集数据的敏感性。

第 3 课:选择和表征化指标

在设计 A/B 测试时,最重要和最耗时的一个部分是选择和验证用于评估实验的指标。这节课涵盖集体讨论选择指标的技巧,在无法直接测量你想要的信息时应该怎么做,以及验证指标时应考虑的特征。

第 4 课:设计实验

这节课讲述如何设计 A/B 测试。这包括如何选择将哪些用户放在实验组和对照组(不同的“用户”在线定义),以及不同的选择对实验有何影响。其中将讲到何时将你的实验限于整个用户库的一个子集,如何计算你需要多少事件来从结果中得出强有力的结论,以及如何据此决定运行实验的持续时间。最后,此课会讲解不同的设计决定会对你的实验规模产生何种影响,这样当你需要更快获得结果时,你将知道从哪个决定入手。

第 5 课:分析结果

这节课讲述如何分析实验结果。第一步始终是运行完整性检查,从而发现实验设置中的问题。然后,你将学习如何使用多种方法检查结论,包括效应量的假设检验和二项式符号检验(如果你获得意料之外的结果)。你还会了解测量同一个实验的多个指标会使分析变得困难,以及学习处理多个指标的一些技巧。最后,你还将了解多个分析“陷进”,以及见到它们时你该怎么做,包括辛普森悖论如何影响 A/B 测试,以及为什么甚至是统计上显著的结果也可能会在你真正发布后消失。

最终项目:设计和分析一项 A/B 测试

为一项 A/B 测试做出设计决策,包括要测量的指标以及运行测试的持续时间。分析优达学城已运行的 A/B 测试的结果,并建议是否实施改变。

讲师与合作伙伴

Carrie Grimes

Carrie Grimes

Carrie Grimes 当前是 Google 的一名杰出工程师,作为技术基础设施团队的一部分,从事数据驱动的资源规划、成本分析和分布式集群管理软件开发。她于 2003 年加入 Google,在过去 12 年的大部分时间里主要在“搜索和搜索基础设施”团队,负责资料抓取和资料索引质量、网页评等和预测的统计与工程问题。她在 1998 年获得哈佛大学的人类学/考古学文学士学位,并对使用定量方法处理不同数据感兴趣。她于 2003 年获得斯坦福大学统计学博士学位,在此之前曾与 David Donoho 合作解决非线性降维问题。

Caroline Buckey

Caroline Buckey

加入优达学城之前,Caroline 在一家为应用搭建搜索引擎的创业公司(Quixey)担任软件工程师。她在卡内基梅隆大学本科学习期间,曾为六门课程担任助教。对教育的热爱使她加入优达学城。在工作之外,她喜欢阅读小说,玩棋盘游戏,还喜欢喝珍珠奶茶。

Diane Tang

Diane Tang

Diane Tang 是一名 Google 研究员,当前在 Google 科研团队从事面向生物和医药应用的数据基础设施构建和分析。在 2014 年前,她在 Google 担任 AdsQuality 团队主管。她于 2003 年加入 Google,致力于日志记录、大型数据分析与基础设施、实验方法和广告系统。她在 1995 年获得了哈佛大学计算机科学学士学位,并于 2001 年获得斯坦福大学计算机科学研究生和博士学位。她拥有多项专利,并著有众多关于移动网络、信息可视化、实验方法、数据基础设施和数据挖掘/大数据的出版物。

官方微信公众号二维码

优达学城(Udacity)微信