[产品相关] A/B测试终极指南（翻译）

转载地址：

 http://blog.sina.com.cn/s/blog_9149268d0100zrx7.html

还记得以前导师说看了英文的文章就把它翻译一下吧，这样会对文章更好地理解，也会有更深的记忆，所以要求自己翻译一下吧~至少还能维持下英语水平，不要退化太多~有些专业词汇还是不太清楚啊

A/B测试终极指南

英文网址：http://www.smashingmagazine.com/2010/06/24/the-ultimate-guide-to-a-b-testing/

A/B测试并非是一个专业术语（buzz term,翻译对不？），现在有很多精明的市场营销者和设计者通过这个方法来了解来访者的行为并增加转换率。然而，A/B测试的普及率远不及其他的一些网络营销方法，如SEO、网站流量分析以及可用性测试。只能说，这个方法至今还未受到人们的关注。人们对A/B测试是什么，如何利用这种方法来获利以及如何使用这种方法都不是非常的清楚。希望这篇文章能在你未来需要进行A/B测试的时候起到很好的指导作用。

什么是A/B测试？

从A/B测试这个名称上我们就能发现这个方法的核心就在于：关于某一元素的二个版本（A和B）以及一个定义成功的标准。我们需要同时对二个版本进行试验来看哪个版本更优。最后，根据测量的结果选择较为成功的版本，并投入使用。

这就和Science 101中的试验差不多。在试验中对多个基本物质进行试验，然后看看哪些物质能促进植物的生长，而哪些物质则是抑制其生长。记录不同的时间间隔下，不同处理条件下的植物生长情况，最后，计算不同植物在这段时间增高的值。

用于网络研究的A/B测试其实也一样。你需要有关于网页设计的二个版本：A和B。通常情况下，A是现有设计（我们将其称为控制组），而B则是一个新的设计。让你的网页访问者随机访问不同的版本，你可以看看这二个版本在你感兴趣的指标上的表现情况（这些指标一般有转换率、销售额、跳出率等等）。最后，你根据这些指标选出那个表现比较好的版本。

测试什么？

你要根据自己的目标来选择要进行测试的对象。若你的目标是增加注册量，那么你或许可以测试注册表单的长度、表单字段的类型（types of fields in the form，不清楚）、隐私条款的呈现方式以及以“社交凭证”（social proof）等等。这种情况下的A/B测试就是为了弄清楚究竟是什么妨碍了用户的注册。是表单长得吓人么？是对隐私的担忧么？还是网页不足以让说服人去注册？通过对相应的网页元素进行一个一个的测试，我们可以得到所有这些问题的答案。

尽管每一个A/B测试都是独一无二的，但还是有一些常常被测试的基本元素：

•   Action(或者button)的措辞、大小、颜色以及位置
• 标题或产品描述
• 表单长度及类型
• 网站的布局及风格
• 产品价格及促销活动
• 登陆画面（Images on landing）以及产品页数
• 页面中的文字量（短vs长）

创建你的第一个A/B测试

一旦你决定好了测试什么，那么接下来就选择一个工具吧。若你想要一个免费的基本工具，且不需要去理会HTML以及JavaScript,那么就用Google Website Optimizer吧。若你想要一个更为简单的工具，那就用Visual Website Optimizer吧，这个工具还有一些其他的特色功能，除此之外，在结尾处还列了一些其他的选择。不论使用哪种方法，设定核心测试都是差不多的。因此，即使对其他方法不是很清楚，我们依旧可以对此进行讨论。

你可以通过以下任意一种方法来创建A/B测试：

• 在网页加载之前替换需要测试的要素。

若你测试的是网页中德某个要素，如注册按钮，那么你就需要在测试工具中创建多个替换按钮（in html）。那么在测试时，A/B工具会在加载这个页面的时候随机选择一个替换按钮来取代原有按钮，并呈现给来访者。

• 重新导向另一个网页。

若你想对整个网页进行A/B测试，如绿色的主题or红色的主题，那么你需要在网站中创建并上传一个新的网页。比如说，你的主页是

http://www.example.com/index.html，那么你需要创建一个替换网页http://www.example.com/index1.html。试验开始后，你的工具会将一部分的访问者直接导到你的替换网页。

当你选择了以上任意一种方法建立了自己的替换物之后，接下来就该设定你的转换目标了。通常情况下，你可以找到一小段JavaScript，将这段脚本码复制粘贴到一个网页中，一旦访问者到达这个页面就表示测试成功了。比如说，你想要测测电子商务网站上“Buy Now”键的颜色，那么你的转换目标就可能是访问者完成交易之后呈现“谢谢你”这样的页面。

一旦网站中出现一个转换事件（conversion event），A/B测试的工具就会记录下访问者所看到的替换物。当访问者数量和转换次数达到一定程度的时候，你就可以看看哪种替换物产生了最多的转换次数。就是这样滴！创建和进行一个A/B测试就是这么简单。

（自己理解：按钮颜色，是红色按钮好还是绿色按钮好呢，版本A红色按钮，版本B绿色按钮，比较点击率，可以选择打开网页时随机跳出不同颜色按钮，也可选择二个网页，一个是用红色按钮，一个用绿色按钮，随机将用户导向不同的网页）

Do’s And Don’ts

从概念上来说A/B测试听上去超级简单，但是我们还是要牢记一些实用的东西。根据我多次的A/B测试经验，我想要给你们提以下建议：

Don’ts

 1、在进行A/B测试的时候，不要等到控制组测试完之后才去测试替换物。一定要同时测试二个版本。第一个礼拜测试一个版本，第二个礼拜才去测试第二个版本，这样的做法是错误的。有可能版本B实际上并不好，但是恰巧测试这个版本的时候销售状况比较好，这就会出现错误。因此，一定要将流量平均分配到二个版本上去。        （二个同时进行测试，可以避免一些额外的因素造成的影响）

 

2、不要过早下结论。统计中有一个重要概念叫做统计置信度（statistical confidence），它决定着你的测试结果是否显著。在每个替换版本的转换次数或是访问者数量不够多的情况下，它就会建议你不要从这样的结果中获得结论，绝大多数的A/B测试工具都会报告统计置信度，但是如果你是手动的进行测试，那么可以考虑使用一个在线的计算工具来计算该值online calculator.（下结论的时候要考虑到统计上的指标，差异性是否著？）

  
    3、不要让常来的访问者感到诧异。若你对自己网站的某个核心部分进行测试，而访问者中只涉及一小部分的新访者，那你就得避免常访者进入网站时感到吃惊，毕竟这些替换版本最终不一定会在网站中使用。

    4、不要让直觉压倒测试结果。A/B测试中的胜出者常常让我们有出乎意料之外的感觉。在一个绿色基调的网站中，一个朴实的红色按钮可能就成为了优者。即使这个红色按钮并不咋地，但是不要就立刻否定它。你的目标是一个更好的转换率，而不是哪个更有美感，因此不要武断的拒绝结果。（不要立马否定与自己感觉不一样的结果）

   DO'S

     1、自己要清楚测试持续的时间。若想到得到有意义的结果就不能结束得太早，但若是结束太晚那些表现   不佳的版本会造成转换率和销售上过多损失。可以利用计算器（如这个）算算看在什么时候结束比较好。

    2、确保同一个访问者重复访问时看到的总是同一个版本。你的工具得记住某个访问者看到的版本，下次     访问时得呈现同样的版本。只有这样才能避免出错，比如说同一个使用者看到了不同的价格或是不同的促销活动。(小周周昨天来看到的是版本A，今天看到的依然是版本A)

 

3、A/B测试必须保持一致性。若你想测试的注册按钮会在网站多个地方出现，那么访问者不论在那里看到     的都应该是同一个版本。不要在第1页放了一个版本的按钮，而在第二页放了另一个版本的按钮，这会混淆试验。(首页看到的注册按钮和其他页看到的注册按钮是一样的，如都是红色按钮)

    4、多做一些A/B测试。我们必须面对的事实是：你的第一次A/B测试可能很糟。但是不要因此而绝望。任     何一个A/B测试都只有三种结果：没有结果、好的结果、差的结果。只有进行了多次A/B测试才有可能得到一个最佳的转换率，把所有好的部分结合起来就能大大推动销售，实现目标了。