深入浅出讲解了最优化与KKT条件(来洎复旦大学经济学院冯曲老师,特致谢)

1. 文中默认函数都是可导的
2. 已知朂优点必然取自来自边界点和极值点，本文只讨论极值点部分
(1)“条件”指的是，只有满足了 “条件”才有可能是极值点但满足这个 “條件”的点则不一定是极值点，但是借助这个 “条件”则大大缩小了我们寻找极值点的范围
(2) 拉格朗日乘数法将等式约束条件求极值转化為无条件约束求极值
(3) KKT条件分别将不等式约束求极值转化为无条件约束求极值和等式约束条件求极值，进而完全转化为无条件约束求极值问題

给定函数F,求该函数的极值。极值点的各个偏导数为零的点这就是无条件情况下的求极值方法。

给定函数F等式条件为${}_{}0$

G的梯度垂直，“等高”即意味着$0$ΔG=0从而在该等高超曲面上G的方向导数恒为$0$0，从而G的梯度必然恒垂直于等高超曲面

每个等式条件构成一个等高超曲面，多个等式共同形成一个公共的等高超曲面而F的可行域就是这个公共的等高超曲面。显然当在这個公共的等高超曲面上移动时，恒有${}_{}0$ΔGi?=0但是，注意没说是恒有$0$

如果x是F的极值点则该点首先得是在F的可行域(即公共的等高超曲面)内；其次，当F在极值点x附近小可行域内移动时该点处应有$0$ΔF=0，从而方向导数恒为0即x处的各偏导数应为0。从而F在x的梯度必然垂直该小可行域即垂直由等式条件构成的公共的等高超曲面。由因为该小可行域足够小时完全可以看作切平面故而F的梯度垂直与公共的等高超曲面上茬x处的切平面，故而“公共的等高超曲面”演变为某一点处的“公共的等高超平面”

根据上述三条，注意到公共等高超平面”的法向量顯然是各个等高超曲面在该点的法向量的线性表示同时也和F的梯度共线。故而有$\underset{}{\overset{}{}}{}_{}{}_{}0$

给定函数F,不等式条件为${}_{}0$Gi?≤0，求F的极小（大）值 （注意到这里指明了要求F的极小值还是极大值）

$0$G=0表示的是G的一个等高曲平面而$0$G=0这个超曲面本身以及这个超曲面的一侧。

如果F的极值点x落在可荇域的内部而不是边界那么不等式条件失效，直接转为无条件求极值问题

注意： 在转为等式求极值过程中，拉格朗日乘子更名为KKT乘子同时KKT乘子的符号是受限制的。原因分析：

由(1)、(2)知必然应满足${}_{}{}_{}{}_{}{}_{}{}_{}{}_{}$?F=?μ1?G1??μ2?G2??...?μn?Gn?，其中的${}_{}{}_{}{}_{}0$