跳到主要内容

A/B测试

1. 功能介绍​

  • 对用户进行随机分组，实施不同的广告变现策略，然后对比不同分组的数据，择优选取效果更好的策略方案。

  • 支持广告位和中介组维度设置A/B测试，1个A/B测试可最多支持创建10个测试分组，同时在1个A/B测试中支持对不同测试分组分配测试流量比例。

  • 支持从应用维度和广告位维度查看A/B测试数据，以及查看历史结束的A/B测试组数据。

  • A/B测试结束后可以一键选择最优测试分组。


2. 使用场景​

根据单一变量原则，通过切小部分流量来做A/B测试，验证不同的广告策略变现效果。


3. 使用指南​

1）在【高级功能】-【A/B测试】中，可配置A/B测试。


2）在左侧应用列表中选择需要进行A/B测试的应用，点击【新增A/B测试】。


3）配置A/B测试，配置项说明依次见下：

a. 应用名称：选择需要进行A/B测试的应用。

b. 广告位：勾选需要进行A/B测试的广告位。可使用一个或多个广告位进行测试。


c. A/B 分组：

  • 可通过增减权重调整流量比例。


  • 勾选“复制现有Waterfall”，可自动将A对照组的瀑布流复制到B实验组


  • 点击添加分组可增加多个实验组。


d. 生效时间：可选择【立即生效】或【指定时间生效】

e. 测试名称：输入自定义的测试名称。

f. 测试描述：如有备注信息可填写在此处。


4）确认配置信息无误后，点击保存。


  1. 配置对照组/实验组瀑布流。

  • 该广告位原有的瀑布流将自动同步至“A对照组”中。

  • B组瀑布流需要手动配置，目前提供两个配置入口：

i. 保存A/B测试后，点击【去配置】，跳转到“中介管理”页面进行配置，或直接点击【中介管理】，进入页面开始配置。


ii. 点击A/B测试页面右上角【概览】-【中介管理】，跳转至“中介组管理”页面进行配置。


  • 返回中介管理页面，使用“复制A/B测试组”功能快速配置其他分组的瀑布流。

    • 该功能会将某个分组在当前使用的瀑布流的所有配置全部复制到指定分组中（包括Plancement ID、排序、缓存数、Bidding底价等配置）。

    • 复制后，指定分组下的原有配置会被删除。

例如：将A组的瀑布流复制到B组，则：B组将使用A组的配置；B组原有的配置将被删除；A组当前的配置仍然会保留。


5）完成测试后，需要点击【结束测试】，并选择是否使用最优的分组策略。可选择适用到全部广告位，或选择适用到指定广告位。


4. 常见问题​

Q：A/B测试的分量逻辑是什么？​

A：

  • 开启A/B测试之后，在A/B测试周期内，用户第一次请求广告，会根据流量分配比去命中分组。

    • 比如AB组的流量分配比是各50%，则用户将随机分配到A组或B组，最后A组和B组各分配到50%的用户。

    • 一旦用户命中某个分组，就不会变了，后续会一直命中该分组。即一个用户一旦走了A组，就不会走B组。

  • 若调整A/B组分量策略，比如把流量分配比从各50%调整为A组90%和B组10%，那么用户会被重新分配。即从B组里随机分配一部分用户进入到A组；A组原有的50%的用户依然走A组。


Q：如何查看A/B测试的数据？​

A：在A/B测试页面，按广告位维度查看A/B测试数据。（注：A/B测试页面上的所有数据均为TradPlus埋点数据，不是三方广告平台数据）


若A/B测试已关闭，可在A/B测试页面【历史】中查看历史上配置过的A/B测试的数据。


  • 如果每个分组使用不同的广告位ID，则在每个分组中可以查看当前分组所使用的广告位ID的三方数据。
  • 如果每个分组使用相同的广告位ID，由于三方数据只能按照国家维度来拆分，每个分组中，相同广告位ID的三方数据将会相同。可以选择查看中介组维度下的TradPlus埋点数据来查看该分组的数据表现。

Q：A/B 测试生效后，原有瀑布流产生的数据如何处理？​

A：根据生效时间分为两种情况：

  1. 如配置的生效时间为**“立即生效”** ：

    • 历史缓存策略（非当前A/B测试配置的策略）产生的数据，会归到历史流量分组。历史流量分组的广告源暂无法进行配置。


  1. 如配置的生效时间为**“指定”时间生效** ：

    • 当前瀑布流配置会归入“当前分组”，A/B测试生效前产生的数据，会归到当前分组；

    • 直到A/B测试生效的指定时间，“当前分组”会被“历史流量”分组取代。