非线性优化技术简介

梯度和一阶泰勒展开式

假设 $f(x)=f(x_1,x_2,x_3,...,x_n)$是连续可导的，我们用一个（n x 1）向量表示f的梯度：
$$\nabla f(x)=(\frac{\delta f(x_1)}{\delta x_1};\frac{\delta f(x_2)}{\delta x_2};\frac{\delta f(x_3)}{\delta x_3};...;\frac{\delta f(x_n)}{\delta x_n})$$

得到一阶泰勒展开式：
$$f(x+td)=f(x)+t\nabla f(x{)}^{\mathrm{T}}d+o(t)t\to 0$$

如果是$f(x)$两次可导的，$f(x)$的海森矩阵(相当于二次导数)为:
$${\nabla }^{2}f(x)=(\frac{\delta f(x)}{\delta x_i\delta x_j}{)}_{i,j}$$

通过二阶泰勒展开式，我们得到了：
$$f(x+td)=f(x)+t\nabla f(x)d+\frac{1}{2}{t}^2{d}^T{\nabla }^{2}f(x)d+o(t^2)t\to 0$$

例子

$$f(x_1,x_2,x_3)=x_1^2+x_1{x}_2+x_1{e}^{x_3}+x_{2}ln{x}_3$$

$$\begin{array}{c}\nabla f(x)=\left[\begin{array}{c}2x_1+x_2+e^{x_3}\\ x_1+ln{x}_3\\ x_1{e}^{x_3}+\frac{x_2}{x_3}\end{array}\right]\end{array}$$

$$\begin{array}{c}{\nabla }^{2}f(x)=\left[\begin{array}{ccc}2& 1& e^{x_3}\\ 1& 0& \frac{1}{x_3}\\ e^{x_3}& \frac{1}{x_3}& x_1{e}^{x_3}-\frac{x_2}{{x_3}^2}\end{array}\right]\end{array}$$
注：海森矩阵有对称性，只需计算一半即可。

无约束问题的最优性条件-一阶条件

在下面，我们首先研究一个最优解必须满足的条件：一阶和二阶（必要的） 最优性条件。我们将首先从局部最优解开始。

最优性条件：无约束问题

如果我们以整个实数集$R^n$为可行集（feasible set）$\Omega$, 也就是：
$$\begin{array}{r}\underset{x\in R^n}{\min }f(x)\end{array}$$
最优条件（必要）：
$$\nabla f(x)=0$$
证明：如果$\nabla f(x)\ne 0$且$f(x)$是最小值，那么我们可以找到一个向量$d=-\nabla f(x)$，$\nabla f(x{)}^{\mathrm{T}}d=-\Vert \nabla f(x){\Vert }^2<0$。因此，通过泰勒展开式：
$$f(x+td)=f(x)+t\nabla f(x{)}^{\mathrm{T}}d+o(t)t\to 0$$

$\because \nabla f(x{)}^{\mathrm{T}}d<0,o(t)<0$ $\Rightarrow f(x+td)<f(x)$

通过选择足够小的 $t$，我们可以找到一个在$x$附近的点 $\bar{x}=x+td$使$f(\bar{x})<f(x)$，与题设矛盾

一阶必要条件 First-Order Necessary Conditions (FONC)

一阶必要条件: 如果$x^{\star }$是无约束问题$mi{n}_{x\in R^n}f(x)$的局部极小值，那么我们必须有$\nabla f(x^{\star })=0$。
备注: $\nabla f(x)=0$的点$x$都是局部极小点的候选点

例子: $f(x)=x_1^2-x_1{x}_2+x_2^2-3x_2$
一阶必要条件为：
$$2x_1-x_2=0,-x_1+2x_2=0$$
有一个唯一的解$（x_1=1，x_2=2）$，它是$f$的全局最小点。

示例：最小二乘问题

假设一个变量$y$是由$n$个因子$x_1,...,x_n\in R^m$决定的。我们知道它们近似地有一个线性关系：

$$y\approx {\beta }_1{x}_1+{\beta }_2{x}_2+...+{\beta }_n{x}_n{\beta }_i\in R$$

现在，我们要确定这个关系（找到参数$\beta$）。
我们有$m$个观测值$(m>n)$ 这些观测值可以组成一个数据矩阵 $X$
{xiT=(xi1,xi2,...xin),yi},i=1,2,...,m\{ x_i^T = (x_{i1},x_{i2},...x_{in}), y_i\}, \quad i = 1, 2, ...,m{xiT​=(xi1​,xi2​,...xin​),yi​},i=1,2,...,m
其中，$x_i^T$是数据矩阵 $X$ 的第 $i$ 行.
理想情况下，我们想找到$\beta =({\beta }_1,{\beta }_2,...{\beta }_n{)}^{\mathrm{T}}$，使 $ y = X \beta $ 。然而，这可能是不可能的（例如，方程y = Xβ可以是一个过确定的线性系统（overdetermined system））。通常情况下，观测不遵循$y=X\beta$，所以我们需要完全噪声观测（noisy observations）。

相反，我们试图最小化误差的平方和：
$$\begin{array}{r}\underset{\beta }{\min }\sum _{i=0}^n(y_i-x_i^T{\beta }_i{)}^2\end{array}$$
这个问题的矩阵形式为：
$$\begin{array}{r}\underset{\beta }{\min }\Vert X\beta -y{\Vert }^2=X\beta {\beta }^{\mathrm{T}}X-2{\beta }^{\mathrm{T}}{X}^{\mathrm{T}}y+y^{\mathrm{T}}y\end{array}$$
其中 $\Vert \omega {\Vert }^2={\omega }_1^2+{\omega }_2^2+...+{\omega }_n^2$

事实：1.如果$f(x)=x^{T}Mx$（$M$是对称的），那么： $\nabla f(x)=2Mx$。2.如果$f(x)=c^{T}x$，那么$\nabla f(x)=c$。

因此，最小二乘问题的一阶必要条件（FONC）为：
$$X^{T}X\beta =X^{T}y$$

求解这个方程给出了局部极小点的候选项。

一阶必要条件的非充分性

反例

$f(x)=x^4-9x^2+4x-1$的导数是
$$f^{{}^{\prime }}(x)=4x^3-18x+4=0$$
他的解包括$x_1=-1+\frac{\sqrt{6}}{2},x_2=-1-\frac{\sqrt{6}}{2},x_3=2$。

我们可以发现FONC是不充分的。事实上，每个局部最大值也满足FONC。或者它既不能是局部的最小值，也不能是最大值（如$f(x)=x^3$ 当$x=0$）

内容来自cuhksz mat3007的ppt Professor Li Xiao，翻译为中文，修改了小部分，加入了一些笔者自己的理解。