黄有璨|如何用A/B测试,给企业增长开挂?( 二 )


成本和难度之外,A/B测试也对企业本身的数据基建提出要求。有些企业缺乏坚固的数据基建,并不具备使用A/B测试的能力。而当一个既认可“数据驱动”理念、数据基建也过关的企业想推进A/B测试时,它会发现,即使能够对数据进行联动打通,市场上也少有成熟、可靠的A/B测试产品可供使用。
目前,国内独立第三方A/B测试工具还处于相对分散的状态,尚待龙头企业树立标杆。部分互联网大厂虽然锤炼出了一些可靠的A/B测试产品,但是对外开放还处于起步阶段。
至于关键位置上的“人”的问题,一个典型的场景是,部分掌握话语权的产品经理更愿意相信自己对于人性的认知和对于审美的把握,在其看来,数据只是辅助,真正影响决策的,还得是人的经验和洞察。
这或许不是行业环境的问题,而要追溯到中外教育理念的差异。A/B测试的理念从根源上更贴近西方教育中的逻辑、实验、辩证思维。在国外,A/B测试基本不需要在理念层面做推广,而国内的情况则明显不同。
诸多的客观约束、加上人们对A/B测试的认识存在差异,种种因素的叠加下,行业存在不少对A/B测试的误读和两极化判断。但好在,已经有不少资深从业者躬身入局,他们的切身感受,正是破解误读的关键。
A/B测试的三大误区根据「深响」与互联网资深从业者,尤其是有过A/B测试实践经验的专业人士的交流,目前行业内存在的误读和两极化判断,主要体现为以下三大误区:

  • 误区一:A/B测试是在浪费资源。
不只是中小企业,大公司内部在迭代业务时也会存在类似的质疑。除了上文已经提到的搭建测试平台所需的成本,A/B测试的资源投入还以更直观的形式体现于执行过程中。
一个最简单的例子,某公司旗下的APP想要提升注册转化,此时,业务部门想应用A/B测试,准备测试方案的过程需要协调各部门(比如设计、产品、运营)共同完成,而测试过程本身也是个需要投入时间的事情。测试做完,如果A/B测试效果不够突出,公司内部很容易出现“折腾一趟不划算”的想法。
成本,是A/B测试无法规避的问题。“越小的公司,对成本的容忍度就越低。这永远是一个取舍的问题”,罗征表示。
不过,小公司应用A/B测试的情况也不算罕见。早在2012年,有瞰学社创始人&CEO、知名互联网运营专家黄有璨就接触过A/B测试,丰富的互联网从业经验和创业经验,让其对A/B测试的价值有更切身的体会。
在黄有璨看来,如果公司业务处于早期,那么A/B测试稍微控制不好,肯定会造成一定资源浪费。但当业务比较成熟时,管理者思考的是:如果不做精细的A/B测试,要承担的风险是什么?
“假如这个测试能直接影响一年的收入,那么不做A/B测试,我要承担的风险可能是浪费三四个月的时间(在错误的决策上)。如果我投入资源做个详细的A/B测试,可能要花一百万或两百万,但这能帮助我节省下来三到四个月的风险,这笔帐肯定能算明白。”黄有璨告诉「深响」。
言而总之,A/B测试的成本问题,说到底是性价比问题。而看待A/B测试的性价比,不能只是静态地看测试的瞬间,而是要放长线来考虑。如果一次A/B测试帮助企业前置思考,避免了错误方案的执行,那绝对是“花小钱办大事”,不存在资源浪费一说。
如何评价一个A/B测试是好是坏?在黄有璨看来,一方面要看A/B测试本身的成本够不够低,或者效率是不是最高,即财务上要能算得过来,测试反馈也要足够快;另一方面,A/B测试结论的科学性和准确性和成本同样重要。
交流中,黄有璨多次提到了变量控制的难度——用户的构成、时间上的差异、以及用户来源渠道的不同等,都会影响A/B测试的准确性。只有当测试环境相对干净,不受额外变量的干扰,测试结果才有参考的价值。