黄有璨|如何用A/B测试，给企业增长开挂？( 三 ) ui|美团

“谁来设计A/B测试，他的思考或逻辑清晰不清晰，他是否能借A/B测试的信息反馈快速确定结论。这件事其实是更加重要的。”黄有璨表示。

误区二：小公司不需要A/B测试。

小公司需不需要A/B测试？这个问题其实已经把A/B测试预设成“大费周章”的事，但流程只是表象，A/B测试真正重要的是其“对照实验”和“数据驱动”的核心理念。
黄有璨向「深响」介绍了一段亲身经历，在公司业务还未成熟的时候，为了测试一个课程的详情页转化效率，黄有璨自己做了两三个版本的详情页，将其放在不同的用户样本中进行测试，以“人肉”手段跑完了A/B测试，最后选用了数据最好的详情页版本。
在黄有璨看来，A/B测试不是巨头的专利，它小到“一个人都可以做”。当业务模型得到验证，团队规模发展到几百人时，需要做A/B测试的场景也会越来越多，这时公司可以考虑让第三方工具帮忙提升效率。
上述经历其实都在说明一件事：做不做A/B测试，跟公司规模无关。如果在意成本问题，那么接入第三方工具会是一个值得考虑的选择。
在这方面，罗征向「深响」着重表达了自己对于小公司接入第三方工具的认可。“大部分小厂可以采用专门的SaaS服务，大厂通常会因为需求比较复杂和独特而倾向自研。”
认为A/B测试浪费资源也好，认为小公司不需要A/B测试也好，这些其实都是可以通过“算账”解决的问题。全盘否定不可取，而盲目买单A/B测试的做法，同样不是明智之举。

误区三：A/B测试是万能的。

互联网造就了诸多增长神话，也颠覆了各行各业的底层逻辑。因此，不少从业者将“数据驱动”、尤其是以数据驱动为核心理念的A/B测试奉为信仰，他们把A/B测试当作评判一切的标准，试图将所有业务进行量化。
这是个典型的“手拿锤子，看什么都是钉子”的思路。
据罗征总结，A/B测试更适用于用户数量大、且用户之间关联度不高，结果容易以数据衡量的领域，如广告行业、搜索系统等。如果行业本身并不具备这些特征，或者压根没法执行A/B测试，那么A/B测试的价值就很难体现。
罗征向「深响」描述了一个无法应用A/B测试的场景：大部分内容行业，比如综艺节目，就基本不可能做A/B测试，而且做产品原始设计的时候，其实也是不能A/B测试的。
“有些事情就没有办法A/B测试，或者A/B测试的成本过大，你就做不到了。”
A/B测试的真正价值生于硅谷的光鲜背景、加上国内互联网大厂的带货，A/B测试概念的热度与日俱增。但太高的起点也让其被太多模糊焦点的信息所裹挟。纠偏的第一步，在于回本溯源，回答一个所有企业都关心的问题：A/B测试真正的价值到底是什么？
第一点，最直观的一点，A/B测试能真正落地数据驱动，帮助企业科学决策。在传统的经验主义运营模式下，业务负责人能力再强，也难免有失手的时候。但作为一种前置验证的手段，A/B测试的价值不仅能帮助企业准确评估哪个方案更好，还能评估出好多少、为决策提供量化参考。
今日头条APP曾因整体UI风格偏大龄被诟病。为了吸引更多年轻用户和女性用户，也为了在可接受的负向范围内改一版用户评价更高的UI，今日头条通过控制变量，开展了多次A/B测试，变量包括头部色值饱和度、字号、字重、文字间距、底部tab icon等。
经过多次测试，今日头条APP最终找到了一套综合效果最好的UI版本。新UI上线4个月后，图文类时长显著提升1.66%、搜索渗透显著提升1.47%。高频用户逐渐适应新UI的同时，用户调研也显示，年轻和女性用户对新UI表现出了更明显的偏好。