火山引擎DataTester：抖音的设计团队是如何用A/B测试实现高效优化的？

发布时间：2023-03-22 18:41 来源：IT技术网

对C端产品而言，产品的每一个细节设置都或多或少影响着用户的产品体验，本文介绍字节跳动的A/B实验文化的同时，也将分享抖音设计团队通过火山引擎A/B测试 DataTester 实现产品优化的案例。

该实验最初来源自抖音UI团队一位设计同学提出的想法：用户刷短视频的时候会有一定的视觉疲劳——“是否可以通过视频蒙层让文字更加清楚，让用户浏览视频不再费眼，使用体验更好？”

其实，这个设想在产品上的改动非常简单，调整两个参数就可以改善视频文案整体的突出程度，一个参数是蒙层，另一个参数是蒙层的透明度。两个不同蒙层的产品版本，成为了 DataTester 中A/B实验的实验组和对照组，UI设置如下图：

实验结果非常惊喜，DataTester 的实验数据显示“文字更加突出”组的用户停留时间更长，抖音的人均App使用时长显著增加了0.2%，这个数据对于用户量数以亿计的抖音而言，是一个较大的提升，最终该策略也决定推全上线。

在抖音里面，像这样的小改动撬动大收益的创新非常多，而这些细节全部都是通过A/B实验精打细磨，最终找到的最优方案。在这背后除了有完善的实验平台 DataTester 支撑之外，也有字节传承下来的实验理念和文化。

字节跳动的A/B实验文化提倡：“决策与改动要用置信结果来说话，产品决策从不自嗨。”基于这个理念，产品经理们即使得到了实验验证，在日常的产品更新改动上，也不会“唯数据论”，还会继续通过对用户的理解、对业务的判断、合理的数据拆解来进行解读。

当从A/B实验中得到结论后，再通过大量实验沉淀下来的经验反哺业务、加深对业务过程的理解和洞察，在业务实践的过程中不断积累更多的业务经验。

从企业收益的角度看，A/B测试不仅可以激发创新，让企业在小步快跑的同时，获得收益上的提升。而像DataTester 这样完善的A/B实验平台，还能帮助企业显著提升人效，大幅降低试错成本。此外，当每个决策都能通过A/B实验来量化收益时，对企业管理而言，A/B测试也成为了一种稳定、效果可量化的赋能手段。

作为助力企业科学决策的A/B测试平台，火山引擎DataTester 目前服务了包括美的、得到、凯叔讲故事等在内的上百家外部企业，为业务的用户增长、转化、产品迭代、运营活动等各个环节提供科学的决策依据，将成熟的“数据驱动增长”经验赋能给各行业。