具有客户选择的多产品库存系统的高效学习框架-研究论文

在本文中，我们首先介绍了一个定期审查的多产品库存系统，其中每个客户的需求都受到产品可用性和客户偏好的影响。 由于客户偏好无法直接观察且难以估计，因此当无法获得需求的完整分布信息时，决策者必须通过客户的部分和审查反馈即时了解信息。 对于这个学习问题，如果忽略库存动态并简单地将其视为 Multi-Armed Bandit 问题并直接应用一些现有算法，例如上置信界 (UCB) 算法，则由于高-政策空间的维度。 我们提出了一个基于 UCB 的学习框架，该框架利用基于两种改进思想的需求信息。 我们通过考虑两个特定系统来说明如何将这两个想法结合起来：1）具有缺货替代的多产品库存系统，2）城市仓库的多产品库存分类问题。 我们使用这两项改进为两个系统开发了改进的 UCB 算法。 对于两个系统，该算法都可以在规划范围 T 上实现严格的最坏情况收敛速度（最多为对数项）。进行了大量数值实验以证明改进的 UCB 算法对两个系统的效率。 在实验中，当有超过 1000 个候选策略可供选择时，算法可以在 50 个周期内实现约 15% 的平均预期后悔，并随着时间的增加继续稳步提高。