关注：抖音是如何使用火山引擎DataTester快速试错的？
A/B测试产品可以说是企业科学决策的基础“设施”，能够帮助企业快速迭代产品。
在字节跳动，每一个产品功能上线前，都会先在火山引擎A/B测试产品DataTester上进行小流量验证，结合业务逻辑对结果的分析理解策略生效过程，而后再对方案进行修正、尝试创新，推动整个产品和业务的持续迭代。
抖音上，早期有一个功能“弹幕”功能设想，目的是强化熟人社交的互动性，产品团队希望围绕熟人社交进行功能拓展，以激励用户多看视频、多发作品。
(相关资料图)
产品团队借鉴长视频的弹幕功能提出了一个想法——在抖音短视频中增加弹幕互动的功能，当用户观看熟人（好友）的短视频作品时，该视频的相关评论通过弹幕的形式展示，让用户有更多的互动机会并感受互动的快乐。
这个功能设计初衷是很好的，但它对于产品所带来的影响是正向还是负向，需要通过A/B实验进行评估验证。DataTester就帮助团队快速试错，避免了不合适的功能上线后为产品带来的负向影响。
如图所示，该团队在DataTester中设计了这样一个实验：
● 图一是对照组，产品界面维持抖音原样，没有弹幕功能。
● 图二是实验组1，由于弹幕功能对抖音而言是大型改动，会直接影响产品主界面布局，所以产品团队在实验组1中做了一个激进的尝试，他们将视频的文字描述区域全部去掉，替换为弹幕互动功能；与此同时，为了界面的美观简洁，将抖音右侧原本的互动区收入了“更多”的按钮中。
● 图三是实验组2，为了减少产品改动过大对用户带来的不确定影响，这个版本的产品设计保留了产品原有的互动等其他功能。
从DataTester的实验结果数据看，两个实验组的互动率确实有着显著提升，达到了功能设计时“提升互动率”的初衷。但观察新方案对抖音大盘核心指标影响时发现，这个功能对抖音整体视频的浏览量、用户投稿率、用户整体留存率均有负向影响，上述指标均出现了不同程度的下降。A/B实验清晰地表明，这个功能虽然能提升抖音的互动率，但却不利于用户的整体使用与留存。因此这个看上去很好的改动并未在抖音全量上线。
之后，抖音围绕弹幕类的产品优化探索并未停止，通过更多次的假设与A/B实验验证，这个功能后来加入了抖音的个人页位置中。当它被放在了恰当的位置，也能为产品的指标带来正向的提升。从这个案例中也可以看到，DataTester起到了帮助业务实现科学决策的能力，业务能够大胆创新的同时，也能科学验证每次创新是否真正有效。
像这样的A/B实验，在字节跳动已经开启了150多万次，每天都有2000多个新的实验上线，在DataTester上同时运行的实验有3万多个。
作为字节跳动内部使用多年的 A/B 测试平台，DataTester有支持多种复杂A/B实验的能力和科学的分流能力。它能够深度耦合推荐、广告、搜索、UI、产品功能等多种业务场景需求，为业务增长、转化、产品迭代，策略优化，运营提效等各个环节提供科学的决策依据。目前，火山引擎DataTester已经对外服务了美的、得到、凯叔讲故事等在内的上百家标杆客户，将成熟的 " 数据驱动增长 " 经验赋能给各行业。（作者：吕紫）
标签：
相关文章
关注：抖音是如何使用火山引擎DataTester快速试错的？
A B测试产品可以说是企业科学决策的基础“设施”，能够帮助企业快速迭代产品。在字节跳动，每一个产品功能上线前，都会先在火山引擎A B测...
世界讯息：萨赞科夫·亚历山大(关于萨赞科夫·亚历山大的简介)
大家好，萨赞科夫·亚历山大，关于萨赞科夫·亚历山大的简介很多人还不知道，现在让我们一起来看看吧！1、萨赞科夫·亚历山大,白俄罗
瑞典发生H5N1高致病性甲型流感疫情
据世界动物卫生组织（WOAH）消息，2023年4月5日，瑞典企业与创新部向WOAH报告称，瑞典发生一起H5N1高致病性甲型流感疫情。
每日观点：生猪行情低迷，仔猪价格“见顶”回落！未来有跌破500元/头的可能？
高价仔猪抑制市场补栏情绪，仔猪涨势“熄火”。多位业内人士向记者表示，仔猪价格波动主要源于季节性结构调整，因猪价不振叠加仔猪高位，养...
全球今日报丨科士达：4月6日融券卖出19.95万股，融资融券余额7.15亿元
4月6日，科士达（002518）融资买入2 26亿元，融资偿还2 63亿元，融资净卖出3737 74万元，融资余额6 86亿元，近20个交易日中有12个交易日出现融资净买入。
“流量”变现 一路通百业兴_天天快播
莫哈克切正在给苹果树疏花新成昆铁路促进了沿线地区产业发展 4月6日上午9点半，成都南站的站台上，身着盛装的彝族姑娘小伙举着“新成昆...
重庆姐弟坠亡案二审庭审结束，将择期宣判
4月6日下午，张波、叶诚尘故意杀人案（重庆姐弟坠亡案）二审庭审结束，将择期宣判。（原标题：重庆姐弟坠亡案二审庭审结束，将
新华指数|3月下半月全国油茶籽精炼油（压榨一级）价格指数基本稳定_报道
“新华·中国油茶产品价格指数（常山发布）”数据显示，截至4月5日，全国各重点省区油茶生产加工企业油茶籽精炼油（压榨一级）出厂均价微幅...
ST天龙：公司不存在青海某光伏企业借壳计划
【ST天龙：公司不存在青海某光伏企业借壳计划】财联社4月6日电，ST天龙在互动平台表示，公司不存在青海某光伏企业借壳计划
检察机关依法分别对张文富、田杰、张明、刘波提起公诉
贵州检察机关依法对张文富涉嫌受贿、利用影响力受贿案提起公诉日前，贵州省人民政府办公厅原党组成员、机关党委原书记张文富（正
快讯：杨元庆：新财年联想非个人电脑业务营收占比要提升2个百分点以上
新京报贝壳财经讯（记者许诺）4月6日，联想集团2023 24财年誓师大会在北京举行。联想集团董事长兼CEO杨元庆为新财年设下五个目标，其中一个目
环球今日讯！2023天津民园广场灯光秀可以线上购票吗？
➤➤2023天津民园广场灯光秀可以线上购票吗？答：不可以线上购票了。7号、8号两场光影秀线上预售票，已经全部售罄。活动当天，下午5点开始可通
±±¾©Ë½Á¢¸ßÖÐÉýѧÁÓÊÆÓÐÄÄЩ£¿ÈëѧÕþ²ßÊÇʲô£¿-当前速读
¡¡¡¡ºÜ¶à¼Ò³¤×Éѯ±±¾©Ë½Á¢¸ßÖÐÉýѧÁÓÊÆÓÐÄÄЩ£¿Æäʵ±±¾©Ë½Á¢¸ßÖÐÉýѧ²¢Ã»ÓÐÃ÷ÏÔµÄÁÓÊÆ
2岁娃吞进纽扣电池食管被灼黑_只能住院插胃管鼻饲 消息
原标题：2岁娃吞进纽扣电池食管被灼黑取出后灼伤愈合慢，鼻饲20多天才好转大小新闻客户端4月5日讯（YMG全媒体记者林媛通
全球微头条丨炬光科技：公司的预制金锡氮化铝衬底材料除了光纤激光器泵浦源应用以外 潜在市场是光通信领域
有投资者在投资者互动平台提问：预制金锡材料能否用于6G通信？炬光科技(688167 SH)4月4日在投资者互动平台表示，公司的预制金锡氮化铝衬底材料
全球通讯！大于180度小于360度的角叫什么名字_大于180度小于360度的角是什么角
今天小编肥嘟来为大家解答以上的问题。大于180度小于360度的角叫什么名字，大于180度小于360度的角是什么角相信很多小伙伴还不知道,现在让我们
巴特勒27+8+8最后6分钟狂砍18分，热火胜活塞
在今日的常规赛中，热火客场118-105力克活塞。活塞遭遇十连败。双方在首节打得十分胶着，一度打成27平。节末希罗和马丁各得分，首节热火31-27
张继科事件，越品越有意思
哈叔的职场微课堂职场人生干货励志哈叔第989篇原创文章如今，打开任何一个社交平台，都是张继科。张继科事件，会以怎样的方式收场，目前还很难
今日热议：台湾海峡中北部联合巡航巡查专项行动启动
4月5日上午9时，由台湾海峡大型巡航救助船“海巡06”轮领衔的海事执法船艇编队驶离福建海事局平潭海事监管基地，开启台湾海峡中北部联合巡...
全球微头条丨中国版星链目前进展
以下可能为全网首次汇总关于6g未来通讯的核心要素之一——中国版星链的信息。目前公开的中国版“星链”有如下几个。按时间排列：1航天科工...
南方过年为什么放橘子(南方过年为什么不贴对联)
南方过年放橘子是因在粤语等语系中，橘与吉同音，橘为吉，金为财，吉祥满财。故一直以来金橘都是广东一带很好的贺岁物品，金橘树可以作为贺礼
