实时财经快讯 - FastBull ( ) • 2021-07-12 14:48
快速上手一个AB试验的6个步骤（保姆级教程）
大数据 样本量 用户分析 数据分析 
#articleCont {
  font-size: 16px;
  line-height: 1.6;
  color: #333;
  word-wrap: break-word;
}
#articleCont :first-child {
  margin-top: 0 !important;
}
#articleCont h1,
#articleCont h2,
#articleCont h3,
#articleCont h4,
#articleCont h5,
#articleCont h6 {
  margin: 40px 0 20px;
}
#articleCont h1 {
  font-size: 24px;
}
#articleCont h2 {
  font-size: 22px;
}
#articleCont h3 {
  font-size: 20px;
}
#articleCont h4 {
  font-size: 18px;
}
#articleCont h5 {
  font-size: 16px;
}
#articleCont i {
  font-style: italic;
}
#articleCont p,
#articleCont div {
  word-wrap: break-word;
  margin: 14px 0;
  text-align: justify;
}
#articleCont blockquote {
  border-left: 6px solid #ddd;
  padding: 5px 0 5px 10px;
}
#articleCont blockquote p:last-child {
  margin-bottom: 0;
}
#articleCont .simditor-body blockquote :last-child {
  margin-bottom: 0;
}
#articleCont a {
  color: #82b64a;
}
#articleCont a:visited {
  color: #82b64a;
}
#articleCont a:hover {
  color: #74a342;
}
#articleCont img {
  max-width: 100%;
  height: auto;
}
#articleCont hr {
  margin: 19px 0;
  border: none;
  border-top: solid 1px #ddd;
}
#articleCont ol {
  list-style-type: decimal;
}
#articleCont ol li {
  list-style-type: decimal;
}
#articleCont ul {
  list-style-type: disc;
  padding-left: 40px;
}
#articleCont ul li {
  list-style-type: disc;
}
#articleCont table {
  width: 100%;
  font-size: 12px;
  border-collapse: collapse;
  line-height: 1.7;
}
#articleCont table thead {
  background: #f9f9f9;
}
#articleCont table th,
#articleCont table td {
  border: solid 1px #ccc;
  text-align: left;
  vertical-align: top;
  padding: 2px 4px;
  height: 30px;
  min-width: 40px;
  box-sizing: border-box;
}
#articleCont pre {
  white-space: pre-wrap;
}

当我们有了清晰的增长目标和聚焦领域之后，接下来增长人就要进入具体的执行阶段了，即集中火力，针对聚焦领域进行实验。一个完整的AB试验一般要经历以下6个步骤：
    

  1. 针对聚焦领域，收集分析数据，发现问题
    2. 

  2. 确定实验目标并产生实验想法(假设）
    3. 

  3. 为实验想法进行优先级排序
    4. 

  4. 设计和开发实验，验证实验假设
    5. 

  5. 分析实验数据 结果，完成实验报告
    6. 

  6. 应用实验结果
    7. 

下面将通过一个工具类产品Canva的增长实验的案例，逐一介绍每个步骤的具体操作及注意事项。创业公司Canva，是一个为小白设计的在线图片及视频编辑工具，能让没有设计基础的小白也能快速做出精美的图片及视频，我们以它其中一个海报制作功能为例，看看他们是如何一步一步分析数据，发现问题，找到增长线索，最后落地实施AB增长实验的。
image.png
*Canva的产品界面
一、针对聚焦领域，收集分析数据，发现问题，找到线索
第一步中的核心关键是如何针对聚焦领域进行数据分析，一般来说聚焦领域是北极星增长模型中的一个部分，比如新用户激活，付费转化，留存等。我们以提升Canva的新用户激活率为例，看看如何进行数据分析发现增长线索。
1.1 提升新用户的激活率，首先我们要明确用户达到激活状态的行为动作是什么；对于Canva而言，其新用户激活行为即是注册，因为用户要保存或者下载自己的设计，需要完成注册步骤，所以注册即表示用户体验到了Canva的核心流程。找到激活行为后，我们以新用户进入产品/网站为起点，用户达到激活状态的行为为终点，梳理新用户的激活路径，列出每一个步骤，然后提取激活路径的漏斗数据；
1.2 提取新用户路径漏斗转化率的数据，查看路径漏斗中流失最大的节点，针对流失节点，结合用户实际步骤中的操作体验，从页面样式，页面流程指引，页面信息呈现等方面提出相应实验假设；
1.3 除了步骤2中通过漏斗数据分析寻找线索，还可采用用户分组的方式进行细分分析，例如将总激活漏斗的数据拆分不同渠道人群看漏斗转化情况，看是否来源不同渠道的用户激活转化不同，也可根据产品特性区分出不同的用户群体，例如性别，年龄，地域，职业，收入等等维度进行分组分析，分组可以帮助你不仅看到平均漏斗转化，还能看到分布图，从比较不同中发现机会和漏洞；
1.4 另外也可通过定性数据分析来找到机会点，很多时候数据只能告诉我们结果是什么，但是不能告诉我们为什么是这个数据结果，这时候结合用户调研，问卷以及访谈等形式，收集定性数据，往往能得到意想不到的结果和线索；
二、确定实验目标并产生实验假设及想法
基于以上的定量及定性的数据分析，我们可以发现新用户激活中的流失点，针对流失点，我们可以通过内部讨论，头脑风暴以及竞品调研等方式，提出一些流失产生的可能假设，再针对这些假设产生一系列的实验想法。
关于实验目标，一般来说一个AB实验有3类目标，最重要也是必不可少的实验核心指标，可选的实验辅助指标及反向指标；
实验核心指标是指跟实验改动直接相关，且会产生直接影响的指标
辅助指标是指实验改动会影响的上下游指标，比如路径上的相邻节点的指标
反向指标是指在实验开始前，就预估会产生负面影响的指标
其中辅助指标及反向指标，可能会随着实验进行，身份互换，实验进行中，我们随时监控指标动向即可。
Canva实验的核心指标即是新用户的激活率，即使用海报功能用户的注册率，辅助指标为海报功能注册用户的购买转化率；通过数据分析发现激活漏斗流失点在第二个制作海报的步骤，并且他们也进行了用户问卷调查，针对已成功注册用户用户使用海报功能的动机是什么，针对使用了海报功能但未完成注册的用户进行问卷，了解他们流失的原因；
结合定量及定性的数据分析，Canva发现制作海报的用户有五花八门的目的，而之前的海报功能对所有新用户都提供一模一样的图片及模板，必然会导致一部分用户无法快速找到合适的模板或者完成海报设计而流失；因此Canva提出了个性化用户海报制作体验的实验想法，即在首页搜索框中，根据搜索词自动显示热门搜索模板及主题，让用户通过分类模板快速进入对应主题的海报素材设计界面，降低用户海报制作难度。
image.png
*主页搜索框选择”学校海报“
image.png
*进入编辑页后，左侧海报模板均为学校主题海报
三、为实验想法进行优先级排序
通过步骤2，我们产生了一些初始的实验想法，那该从哪个实验开始入手呢？我们开始做增长实验时，不管是大公司还是小公司都会面临人力和资源紧张的情况，如何在有限的资源下，选取性价比最高的实验进行测试，那就需要用到ICE优先级排序模型。ICE模型是Impact=影响力，Confidence=成功率，Effort=开发成本三个词的缩写。
下面单独再详细说明一下每个维度的计分规则：
Impact影响力，是指你的实验如果成功，实验改动可以覆盖到多少的用户量，如果你的实验改动在用户必经的核心主路径上，而且还在路径的靠前位置，那么覆盖的用户量就比较大，此项打分就会越高，反之亦然；
Confidence成功率，是指这个实验改动的成功概率，此点一般是看你的实验改动基于的前提是什么，如果是数据分析，用户调查的结论推导的话，一般来说成功概率会较高，另外如果是在竞品上已经成功实验运用的改动，成功概率也会比较高；成功概率越高，此项打分就会越高，反之亦然；
Effort开发成本，实验改动基本上都有开发成本，这里的开发成本指涉及到的设计，程序员等的时间，一般以小时计算，所花费的时间越长，那开发成本就越高，那这些的打分就越低，反之越容易的改动，开发成本就越低，打分就会越高；
最终把所有时间想法按照这三个维度进行打分，然后分数加总，得分最高的那个即是性价比最高的实验，可以优先安排实施。
PS：这里也要注意一点，ICE模型仅是作为实验优先级排序的一个参考标准，不是一个绝对必须遵守的规则，每个公司可根据自身资源，阶段性目标等方面对实验优先级做相应的调整。
四、设计和开发实验，验证实验假设
在实验开始前，我们要写一份实验报告，模板如下；其中实验假设，实验打分，实验指标及实验设计这四个部分是要再实验开发前就要完成的内容。实验结果，实验洞察以及后续计划在实验结束后填写。
image.png
*增长实验报告模板
关于实验假设，要说明清楚实验改动的具体位置，会影响的核心指标是什么，影响具体的幅度，以及为什么会得出这个实验假设，可以按照“如果xxx（描述具体的实验改动）成功，预测xxx（实验核心指标）可以提升/下降xxx%,因为xxx（数据分析洞察，用户调研，竞品分析等）原因”格式完成。这个模板可以帮助我们深入思考增长实验的目标，预期影响和背后的原因。
以Canva为例，其实验假设为：如果当用户在搜索框搜索海报相关的关键词时，显示热门海报搜索词，并提供快捷筛选结果，预计使用海报功能用户的注册率将提升10%，因为通过用户主动搜索意愿，快速帮助用户定位个性化的海报模板，降低了用户制作的难度，能提升注册转化率。
关于实验设计部分，首选需要圈选这次实验改动针对的目标用户是谁，在Canva这个案例中，我们要提升的是使用海报功能的新用户，那么我们的实验样本就要选取这批新用户；接下来我们要确认实验所需的样本量。我们通过云眼AB测试样本量计算器（ https://www.eyeofcloud.com/124.html ）计算每个实验版本所需的样本量。
image.png
然后根据每天实验版本的流量，计算实验所需天数。例如实验每天的样本流量为600个，有2个实验版本（一个对照组，一个实验组），那么根据以上实验样本量，实验时间为2400*2/600=8天。
五、分析实验数据 结果，完成实验报告
实验上线后，我们需要检测实验数据，实验结束时，需要进行实验分析，实验分析步骤如下：
  1. 首先要确保实验结果具有统计显著性，即验证实验结果不是有随机误差引起的；可将实验结束时实际实验指标的变动幅度放在AB实验结果计算器中验证显著性（https://www.eyeofcloud.com/126.html）：
image.png
    

  1. 实验是否覆盖到了绝大部分的用户群体，即实验至少要跑完一个天然使用周期。有时候样本量很大，只跑了1，2天即达到了统计显著，但1，2天数据波动比较大，可能也只覆盖到了高频用户，而遗漏了一些低频用户，因此建议至少让实验运行完一个天然使用周期。
    2. 

  2. 分析实验指标的变动情况，经过1，2步骤后，我们判断实验结果可信，接下来就要进行详细的实验结果分析了。首先要计算实验核心指标，辅助指标以及反向指标的变动幅度和情况，在分析实验结果时，也要把实验指标跟大的北极星指标练习起来，让人看到增长实验的价值。例如Canva的例子销售收入= 网站流量*新用户注册率*注册购买转化率，如果网站流量及注册购买转化率均不变的情况下，新用户注册率提升20%，对应的销售收入也能提升20%！
    3. 

  3. 完成实验分析后，我们还需要把实验报告剩余内容完成，实验结果，实验洞察以及后续计划，将实验的完整过程全部记录下来，以便后续查看等。
    4. 

六、应用实验结果
完成实验后，我们一般有几种不同的应用路径：
如果实验成功，那么实验改动将正式发布上线，覆盖100%的用户；
如果实验失败，那么要分析失败的原因，如果是实验没有达到统计显著，需要再查看实验步骤中是否有可改进的地方；如果是实验假设问题，需要根据实验结果再分析，找到新的增长线索；
不管实验成功还是失败，都需要清除实验代码，保持代码的干净，为后续实验打好基础。
以上即为从0开始上线一个增长实验的全流程，最后送给大家一句话，任何事情都是一个实验，通过他，你或者实现增长，或者学到经验！Everything is an experiment，you win or learn!
相关内容
公安部：探索打击保险诈骗犯罪新模式，推动大数据赋能反诈
公安部：探索打击保险诈骗犯罪新模式 推动大数据赋能反诈
财联社4月25日电，丰田与腾讯达成合作，联手开发人工智能和大数据。 (日本经济新闻)
大数据时代的引擎：大数据架构
“财赋科技创新论坛”首期活动举办，聚焦“大数据与优化”
新光三越母亲节线上线下双回馈 还有大数据智能助攻
对接HiveMetaStore，拥抱开源大数据
大数据助攻 新光三越母亲节档期业绩拚逾50亿元
正平股份：目前业务收入以基础设施建设为主 不涉及AI算力、大数据业务
永丰银携手Gogolook阻诈 运用AI大数据抓出异常户