动态规划确定性和随机模型

动态规划是一种数学规划方法，用于解决在时间或空间上存在多个阶段的决策问题。它旨在找到一系列决策，使得某个整体目标（如代价最小化）得以实现。这种方法在经济学、工程、计算机科学等领域有着广泛的应用。 《动态规划：确定性和随机模型》是Dimitri P. Bertsekas所著的一本经济学著作，主要讲述了动态规划在确定性模型和随机模型中的应用。本书深入探讨了动态规划算法，并将这些算法应用于有限阶段的动态系统优化控制问题。 在确定性模型中，决策过程可以完全预测，即在下一个决策时刻之前，可以观测到每个决策所产生的结果。这种情况下，问题的关键在于决策者需要在当前的低代价和未来可能的高代价之间找到平衡。动态规划通过对每个阶段的决策进行优化，确保整个过程的总代价最小化。 在引入随机模型后，问题复杂度增加，因为每个决策除了产生确定性代价外，还可能受到随机因素（如随机参数或噪声）的影响，导致总代价成为随机变量。因此，目标转变为选择控制变量，使得期望代价最小化。这涉及到对随机变量的联合分布求期望，从而得出最优策略。 动态规划的关键在于它不是孤立地考虑每一个决策，而是将决策过程视为一个整体，寻求在各个阶段之间进行平衡的最优解。通过数学模型的建立和求解，动态规划能够处理各种决策问题。 第一章介绍了动态规划算法的基本问题。它定义了一个离散时间动态系统，其中包括系统状态、控制或决策变量和随机参数。系统状态包含与未来优化相关的过去信息，并且在给定状态下，系统在每个时刻根据选择的控制变量进行演变。代价函数的和加性表示在每个时刻引起代价，并且沿任意系统样本轨线的总代价可以表示为代价函数的和。 接着书中以库存控制问题为案例进行分析。在这个问题中，需要在给定的订货周期内确定订货量，以应对周期性变化的顾客需求。在面对随机变化的需求时，公司需要制定订货策略，以最小化包括订购成本和持有成本在内的总期望代价。库存控制问题中的控制变量是在各个周期内订购的商品数量，随机参数是每个周期内的需求量。 通过建立相应的数学模型，可以将库存控制问题转化为动态规划问题。最优控制策略就是在每个周期根据当前的库存水平来确定最优订货量，以达到整个规划期内总代价最小化的目的。这种策略通常称为控制律或策略。 书中的库存控制例题展示了如何应用动态规划方法来解决实际问题。通过差分方程来描述库存量的变化，包括订货、需求和库存损耗等因素，从而得到每个周期的代价函数，并对其求解，以期找到最优的订货量。 动态规划在经济学中的应用尤其重要，因为它能够帮助人们在面对复杂的决策过程时，找到最优的行动方案。尽管在实际应用中可能需要对问题的结构进行抽象和简化，但动态规划的核心思想保持不变，即在不同阶段之间寻找平衡，以实现整体目标的最优。 《动态规划：确定性和随机模型》为读者提供了一套系统地学习和应用动态规划方法的框架，无论是对于理论研究还是解决实际问题都具有重要的参考价值。