优化基础系列 - 4. 不等式约束优化问题 -- 锥条件、对偶、KKT 条件、Lagrange 乘子
1. 问题描述
这一讲关注以下不等式约束优化问题 \[ \begin{align} \label{eq:pblm-2} &\min_{x \in \mathbb{R}^n} f(x) \\ &\text{ s.t. } g_i(x) \le 0, i = 1, 2, \ldots, m \nonumber \end{align} \]
接下来讨论这三个问题最优解需要满足的必要条件。
2. 等式约束优化问题
这里需要关注：
引入了等式约束，问题就变了（从无约束优化问题变成了等式约束优化问题）
相应的，最优解需要满足的必要条件，也要发生改变（最优解不仅要满足驻点条件，还应该需要满足等式约束）
如何以一种更加本质并且更加统一的视角，将驻点条件和等式约束有机结合起来？这是这一部分讨论的出发点
3. 不等式约束优化问题
这里需要关注：
引入了不等式约束，问题就变了（从
无约束/等式约束优化问题变成了不等式约束优化问题）相应的，最优解需要满足的必要条件，也要发生改变（最优解不仅要满足驻点条件，还应该需要满足
不等式约束）如何以一种更加本质并且更加统一的视角，将
驻点条件和不等式约束有机结合起来？这是这一部分讨论的出发点
接下来的思路：
先推导
不等式约束优化问题的必要条件 –KKT条件再用
KKT条件反推无约束优化问题的目标函数讨论一下
KKT条件的几何解释KKT条件在只有等式约束时会退化成什么形式
3.1 不等式约束 最优解的可能情况（\(m=1\) 的情况）
优化问题 \(\eqref{eq:pblm-3}\) 的最优解必须要满足 不等式约束 条件，即 \[
\begin{align}
h(x^*) \leq 0
\end{align}
\]
所以，相对于 不等式约束 条件 \(h(x)\le0\)，最优解有以下可能情况：
约束活跃：最优解满足 \(h(x^*) = 0\)，即最优解在不等式约束边界上约束不活跃：最优解满足 \(h(x^*) < 0\)，即最优解在不等式约束内部，此时可以视为无约束优化问题
相对于目标函数 \(f(x)\) 及其梯度 \(\nabla f(x)\)，最优解又会有哪些情况呢？
为了将上面两种情况统一起来 - 首先定义 Lagrange 函数 \[
\begin{align}
L\left( x,\lambda \right) = f(x) + \lambda h(x)
\end{align}
\] - 约束活跃 和 约束不活跃 两种情况下，可以统一表示为以下条件 \[
\begin{align}
\nabla L(x,\lambda) = 0, \qquad \lambda \geq 0
\end{align}
\]