保守离线分布强化学习（Conservative Offline Distributional Reinforcement Learning，简称CODAC）是一种针对强化学习（RL）中离线学习场景的算法，它旨在确保从观察数据中学习到的策略是安全的，同时考虑了风险量化。在在线RL中，分布强化学习通过学习返回值（即，累积奖励）的分布而不是期望返回来量化风险。此外，分布RL还被证明能为规划学习到更好的表示。
CODAC是为无风险中立和风险规避领域设计的离线RL算法，它通过惩罚预测回报的分位数来适应离线环境中的分布RL，特别是对于超出数据分布范围的动作。CODAC的核心思想是学习一个保守的回报分布，理论上，在有限状态马尔科夫决策过程（Finite MDPs）中，CODAC能够收敛到返回分布的分位数的下界。这种收敛性依赖于对分布贝尔曼算子的新颖分析。
在实验中，CODAC在两个具有挑战性的机器人导航任务上成功地利用无风险中立代理收集的离线数据学习到了风险规避策略。此外，CODAC在D4RL MuJoCo基准测试中表现出色，无论是在期望性能还是风险敏感性能方面都达到了最先进的水平。
CODAC的关键创新点包括：
1. **分位数惩罚**：通过对预测的回报分位数进行惩罚，CODAC限制了模型对未见过的行为的过度乐观估计，从而降低了尝试这些行为的风险。
2. **离线适应性**：CODAC将分布RL的概念应用于离线设置，解决了传统离线RL算法只关注预期价值最大化的问题，引入了风险考量。
3. **理论保证**：CODAC提供了收敛性证明，表明它能够学习到保守的回报分布，为决策提供了安全边际。
4. **实证效果**：在实际的机器人任务和基准测试中，CODAC展示了优秀的性能，不仅在预期性能上超越了其他方法，还在风险敏感性能方面表现出色。
CODAC通过结合分布强化学习和保守策略，为离线RL提供了一种更安全、更全面的方法，尤其适合那些需要避免风险或无法进行在线交互的学习任务。这种方法不仅适用于无风险偏好环境，还能处理有特定风险偏好的问题，增加了RL应用的广度和实用性。其源代码可在https://github.com/JasonMa2016/CODAC找到，方便研究者和开发者进一步探索和应用。
