8.2模式搜索法 算法描述.pdf

### 8.2 模式搜索法概述 #### 一、引言 模式搜索法（Pattern Search Method），也称为直接搜索法，是一种用于求解无约束优化问题的有效算法。该方法最早由Hooks和Jeeves在1961年提出，并在后续的研究中得到了广泛的应用和发展。与梯度法等基于导数的方法不同，模式搜索法不依赖于目标函数的导数信息，这使得它在处理非光滑或不可微的目标函数时具有独特的优势。 #### 二、基本概念 模式搜索法的基本思想是通过交替进行“轴向移动”和“模式移动”来寻找最优解。这一过程可以分为以下几个关键步骤： 1. **初始化**：选择一个初始点作为参考点。 2. **轴向移动**：在每个坐标轴方向上进行探测，以确定是否存在更优的方向。 3. **模式移动**：如果在轴向移动过程中找到了更好的方向，则沿此方向进行进一步的搜索，以加速收敛过程。 4. **迭代**：重复上述过程，直到满足停止准则。 #### 三、轴向移动详解 轴向移动是指从一个点\(y\)出发，依次沿着坐标轴方向，用定步长\(\delta\)进行探测性的搜索移动。具体操作包括两个部分：正轴向探测和负轴向探测。 - **正轴向探测**：对于每一个坐标轴方向\(e_j\)，如果移动到该方向上的点\(y + \delta e_j\)后的目标函数值\(f(y + \delta e_j)\)小于当前点\(y\)的目标函数值\(f(y)\)，则认为探测成功，更新\(y\)为\(y + \delta e_j\)；否则进行负轴向探测。 - **负轴向探测**：如果在正轴向探测中未能找到更优的方向，则尝试反方向移动，即检测点\(y - \delta e_j\)的目标函数值。如果\(f(y - \delta e_j)\)小于\(f(y)\)，则更新\(y\)为\(y - \delta e_j\)；否则保持\(y\)不变。 每次轴向移动完成后，都会得到一个新的参考点，作为下一轮轴向移动的起点。 #### 四、模式移动介绍 在轴向移动的过程中，如果发现了目标函数值降低的方向，则可以通过模式移动来加速收敛过程。模式移动的基本思路是在发现的有利方向上进一步搜索，以便更快地接近全局最优解。模式移动的具体实现方式取决于具体的优化问题和应用场景。 #### 五、算法流程 1. **选择初始点**：选取一个初始参考点\(y_0\)。 2. **轴向移动**：对于每个坐标轴方向\(e_j\)，执行正轴向探测和负轴向探测，直到找到一个更优的方向。 3. **模式移动**：如果轴向移动中找到了目标函数值更低的方向，则进行模式移动，即沿此方向进一步搜索。 4. **重复步骤2-3**：不断迭代，直到满足停止条件，如达到最大迭代次数或目标函数的变化量低于预设阈值等。 #### 六、应用领域 模式搜索法因其简单易实现且不需要目标函数的导数信息，在实际工程中有着广泛的应用。尤其是在非线性规划、机器学习中的超参数优化、信号处理等领域，都有其独特的应用价值。 #### 七、总结 通过对模式搜索法的基本原理及其核心步骤——轴向移动和模式移动的详细介绍，我们可以看出，该算法通过简单的迭代机制有效地解决了无约束优化问题。尽管它的收敛速度可能不如基于梯度的方法快，但在处理复杂问题时，其鲁棒性和实用性往往更具优势。