使用在线广告的公司会定期对其多个版本的广告进行实验，因为他们不确定哪个版本最有效。 在广告系列中，公司会尝试适应测试的中间结果，从而在了解广告的同时优化他们的收入。 但是，他们应如何决定应分配给每个广告的展示次数的百分比？ 本文回答了这个问题，使用多臂匪徒（MAB）方法解决了著名的“学习与获利”折衷方案。但是，在线广告客户的MAB问题包含特殊的挑战，例如层次结构（网站上的广告），操作的属性（广告的创意元素）和批量决策（一次展示数百万），这些都是现有的MAB方法无法完全满足的。网站上的广告效果会以无法观察的方式有所不同，我们的政策会生成可在实际中使用的展示次数分配。我们在一项现场实地实验中实施了该政策，在一家大型零售银行的在线展示广告系列中投放了超过7亿次广告展示。在两个月的时间里，我们的政策相对于控制政策而言，客户获取率提高了8％，而银行没有任何额外费用。 形成反事实模拟，以评估MAB策略中的一系列替代模型规范和分配规则。 最后，我们表明，如果公司优化点击率而不是直接优化转化率，则客户获取量将减少约10％，这一发现对理解营销渠道具有重要意义。
