2
目 录
A.最优规划问题…………………………………………………..………..3
B.梯度向量…………………………………………………………………3
B.1.无约束极值问题…………………………………………………..3
B.1.1 向量的内积…………………………………………………4
B.2.约束极值问题……………………………………………………..6
B.2.1 雅克比矩阵…………………………………………………8
B.2.2 隐函数定理…………………………………………………8
B.2.3 超平面………………………………………………………9
C.等式约束极值的拉格朗日求解法……………………………………..10
D.非线性规划问题的求解：库恩－塔克条件…………………………..11
E.二阶条件………………………………………………………………..14
E.1 无约束极值问题…………………………………………………14
E.1.1 泰勒展开…………………………………………………..14
E.1.2 二次型…………………………………………………….16
E.2 等式约束极值问题……………………………………………….17
E.3 不等式约束问题………………………………………………….21
F.凹规划……………………………………………………………………22
F.1.1 凸集…………………………………………………………22
F.1.2 凸函数………………………………………………………22
F.1.3.凹函数………………………………………………………23
F.2.凹规划……………………………………………………………..24
F.3.拟凹函数、拟凸函数……………………………………………..25
G. 最优化问题的解…………………………………………………………28
G.1.基本概念…………………………………………………………..28
G.1.1 紧集…………………………………………………………28
G.1.2.函数的连续…………………………………………………28
G.1.3 韦氏定理……………………………………………………28
G.2.解的存在性和唯一性……………………………………………..29
G.2.1.存在性定理…………………………………………………29
G.2.2 唯一性定理…………………………………………………30
G.3 分离……………………………………………………………….31
H.比较静态分析……………………………………………………………33
H.1.基本思想 …………………………………………………………33
H.2.一般方法……………………………………...……………………34
I. 包络定理…………………………………………….…………………….36
I.1.最大值函数…………………………………………………………36
I.2.包络定理……………………………………………………………37
I.3.拉格朗日乘子的含义………………………………………………39
I.4.包络定理的应用……………………………………………………40
3
A.最优规划问题：
cxg
ts
xf
x
=)(
..
)(max
这样一个规划问题可以用来表达一个在一定资源约束情况下的经济决策问
题，其中 )(xf 称为目标函数，
x
为选择变量， )(xg 为约束函数。如果用集合 S
＝{x|g(x)=c}表示约束，则此规划问题可以看作是在集合 S（可以看作是欧氏空
间的一个子集，称为可行集）上选择一个点 x（或向量），使得目标函数 f(x)的
值最大。如下图，在二维情形下，
S 表示可行集，f(x)=k 表示目标函数的等值线，
则上述规划问题就变成了在
S 中找一点，使得目标函数的等值线达到一个最高
的位置。
从这样的角度看规划问题，我们可以将研究的重点放在目标函数的性质和
可行集的性质两个部分。
x
2
S grad f
f(x)=k
x
1
图 A.1
B.梯度向量
梯度 grad f 的概念一般和目标函数的等值线（面）的变化有关。我们分两
种情况来从梯度的角度看最优化问题。
B.1.无约束极值问题：
一维情况下：
dxxfxdf ⋅= )()(
'
此时，目标函数值的变化，是两部分的乘积，第一部分是导数，第二部分是 x
的微分，或者说是 x 的变化，可以取正也可以取负。
若 0)(' >xf ，则可以取 0>dx ，使得 0)( >xdf ，即通过点 x 的移动，可以
使目标函数值增加；若 0)(' <xf ，则可以取 0
<
dx ，从而 0)( >xdf ，目标函数
4
值还可以继续增加。因此，当 f(x)取得极值，即目标函数值不再增加时，上述
情形不可能发生，即有 0)(' =xf 。
含义：一维无约束极值问题中，目标函数的梯度就是导数，表示目标函数
值变化（增加）的方向。
多维情形下：
dxfxdf
x
⋅=)(
此时，
x
f 即为 )(xf 在点 x 处的梯度向量，为横向量（ ),,
1 n
ff L ，其中每一个分
量为偏导数；dx 为纵向量，表示 x 的变化。上式表示目标函数 )(xf 的变化可以
用梯度向量和dx 的内积来衡量：
nn
n
nx
dxfdxf
dx
dx
ffdxfxdf ++=
=⋅= LML
11
1
1
),,()(
B.1.1 几何意义：向量的内积
x,y 是两个向量，其内积定义为：
nn
n
n
yxyx
y
y
xxyx ++=
=⋅ LML
11
1
1
),,(
同时，也可以表示成：
α
cosyxyx =⋅ ，或
yx
yx
⋅
=
α
cos
，其中
α
表示向
量 x,y 之间的夹角， yx , 分别表示向量 x,y 的模（原点到点 x、y 的距离）。
如果
2
0
π
α
<≤ ，则 0>⋅ yx ；
2
π
α
= ，则 0=⋅ yx ，即向量 x,y 正交（垂直）；
πα
π
≤<
2
，则 0
<
⋅ yx
现在分析梯度向量
x
f 和dx 的几何意义：
dx 代表欧氏空间中一点 x 微小变化的向量，方向可以是前后左右上下，取决
于每一个分量变化的大小。具体的，如下图，以二维为例，
),(
21
dxdxdx = 的分
量分别表示从点
x 出发横轴和纵轴变化的方向，向量 dx 则表示从点 x 变化的整
体方向，具体的，满足平行四边形法则。
5
x
2
dx
dx
2
x dx
1
x
1
图 B.1
与无约束问题相比，存在约束时，现在可以选择的点（可行集）不再是整
个欧氏空间，而是由具体的约束条件构成的欧式空间的一个子集。因此，此时
从点 x 移动的方向不再是任意的，而只能在这个可行集内移动。可以想象一下：
在一个没有围墙的校园内，可以向任何方向行走；如果有了围墙，则在围墙的
附近就不能朝任意方向了，最多只能沿着围墙走。如在消费者选择的问题（两
个商品的情形），其约束满足：
,
2211
Ixpxp =+ 0,0
21
≥≥ xx
x
2
f
x
x
dx
x
1
图 B.2
预算线如同围墙一般，在其附近就只能沿其方向移动。
从代数上看，我们也可以得到上述直观的理解，对上式两边全微分，并且
Ipp ,,
21
是参数，保持不变，得：
0
2211
=
+ dxpdxp
与无约束相比，
21
, dxdx 的大小不是任意的，而是相互联系的，即确定了
1
dx ，
则
2
dx 也就相应确定了（一般的，相互联系的机制有约束条件决定）。在这个例
子中，
2
dx 和
1
dx 的比例就等于预算线的斜率，作为平行四边形对角线的 dx 的方
向也就确定了，就是沿预算线移动。
梯度向量
x
f 的几何意义是：等值面 kxf
=
)( 在点 x 处指向值增加（变化）
的法方向，也就是在点
x 处 f(x)值增加最快的方向，其变化率为
x
f 的模。如上
