A/B 测试到底测什么？怎么测？
策略即是选择，正确的策略是选择那些更有效的方向和方式方法来实现业务目标。然而怎样判断策略的有效性、又如何验证一个选择就比另一个更优则需要 A/B 测试的辅助。
但是 A/B 测试需要具备怎样的功能才能让开发者在短时间内测出更优策略？怎样的操作才能让A/B测试更有效果？今天 TradPlus 的产品经理 陈圆圆 将与大家分享 TradPlus A/B 测试的好用功能及使用场景，帮助开发者做出高效优质的变现决策。
多套方案同时测试
快速找到更优策略
传统的 A/B 测试只能设置一个对照组和一个实验组，一次测试只能对比两种策略。但如果遇到要从多个策略中进行择优选择的话，就需要进行多次A/B测试。这样费时费力，又无法更快地采用更优策略提升广告表现。
TradPlus A/B 测试功能可以让开发者同时设置多个实验组，将不同策略进行同时对比，并根据自身流量自由分配不同分组的流量比例。有效地节省了测试时长，提升了新策略的采用速度。
多维度数据测试
细致颗粒度对比
精细化变现要求可测试的数据维度颗粒度更细，这样才能保证可测试的数据变量更多，可控性更强。但是越是细分的维度越容易让人找不到方向，陷入”我到底该测试哪个变量”的困惑。TradPlus 不仅提供多维度的细分数据测试选择，还对这些维度进行了方向性的概括和分类， 让大家轻松找到测试方向。
- 用户分组测试
不同用户的来源和行为决定了他们属性的不同，开发者可以针对不同用户属性进行分组测试，根据用户的国家、渠道、设备类型、游戏等级、内购金额等来测试不同策略的有效性。
- 广告加载测试
不同的国家网络情况、广告场景的位置、开发者现阶段的变现目标都决定了所需要的广告加载需求不同。开发者可以针对广告加载相关的维度进行测试，例如并行请求数、广告请求时长、备用广告等待时长、速度优先 or eCPM 优先等，找到适合自己产品的最优策略。
- Bidding 和 Waterfall 测试
要知道怎样的竞价才是最充分的，最适合现有变现需求的，就需要针对 Bidding 和 Waterfall 的策略进行测试，这包含测试 Bidding 广告源个数&保留数、瀑布流层数、不同分层定价，是否设置底价等。
经典使用场景
有效指导配置
下面跟大家分享一些 A/B 测试的具体使用场景，希望对您的日常 A/B 测试操作有所帮助
问题
有些广告源既有 Bidding 又有 Waterfall，开发者无法判断是只用 Bidding、Bidding + Waterfall、还是只用 Waterfall 能带来更高收益。
解决方案
可设置多个实验组测试不同模式的表现，择优选择收益效果最高的配置进行采用。例如：
对照组1：Waterfall 30层
实验组2：Bidding + Waterfall 20层
实验组3：Bidding
问题
开发者希望知道哪些配置策略更适合某些特定国家，但又不希望测试过程中对广告表现有较大影响，应该如何做出合理决策？
解决方案
可通过针对所有国家建立对照组和实验组进行不同配置策略，再进行分国家查看不同国家的表现，表现优异的国家可采用相应的配置策略。这样既可以测出更优策略，又可以减少对广告表现有较大的影响。
问题
开发者通常认为新的广告源的加入会对整体广告收益有所提升，但实际情况却并非总是如此，开发者该如何判断是否要增加广告源？
解决方案
通过在实验组中配置新的广告源来对比最终 ARPU 值的表现。有的时候新增广告源存在带来 ARPU 下降的情况，此时可能是新增广告源填充时长过长导致整体填充和展示下降，导致整体收入下降。
最后，很多开发者经常会思考的问题：一次测试的结论可以一直沿用吗？
答案是NO！之前测过的结论还要再测！
因为变量一直在变，A/B测试也需要定期再测，这将确保您采用的策略一直是更优的，业务也能一直保持稳步上涨。
