0. 线性代数与矩阵基础知识回顾

本文讨论的范围实数空间，不涉及复数空间，因此各种术语和定理都以实空间下的名称为准，当然也可以推广到复数空间，只需进行一些名词的变换（对称矩阵-Hermitian举矩阵，正交矩阵-酉矩阵）。

0.1. 正交向量组

对于向量$x_1,x_2,\cdots ,x_k\in R^n$，若 x i T x j = 0 , ∀ ( i , j ) ∈ { ( i , j ) ∣ 1 ≤ i < j ≤ k } x_i^Tx_j=0,\forall (i,j)\in \{(i,j)\lvert 1\leq i<j\leq k\} xiT​xj​=0,∀(i,j)∈{(i,j)∣1≤i<j≤k}，则称$x_1,x_2,\cdots ,x_k$是一组正交向量组，简称正交组。如果正交组里面的向量还是归一化的，即$x_i^T{x}_i=1,i=1,2,\cdots ,k$，则称该正交组为标准正交组。

0.2. 正交矩阵

一个实的正方矩阵$Q\in R^{n\times n}$称为正交矩阵，若：
$$\begin{gathered} Q{Q}^T=Q^{T}Q=I \\ \text{\hspace{1em}(0,2)} \end{gathered}$$

由上述定义可以推出如下几个等价的叙述：

1. $Q$是正交矩阵
2. $Q^T$是正交矩阵
3. $Q$是非奇异的，并且$Q^T=Q^{-1}$
4. $Q{Q}^T=Q^{T}Q=I$
5. $Q=[q_1,q_2,\cdots ,q_n]$的列组成标准正交组
6. $Q$的行组成标准正交组
7. $\forall x\in R^n,y=Qx$的Euclidean长度与$x$的Euclidean长度相等，也即有$y^{T}y=x^{T}x$。

0.3. 正定矩阵

一个对称矩阵$A$称为

• 正定矩阵($A>0$)：若二次型$x^{T}Ax>0,\forall x\ne 0$;
• 半正定矩阵($A\ge 0$)：若二次型$x^{T}Ax\ge 0,\forall x\ne 0$;
• 负定矩阵：如果$-A$是正定的
• 半负定矩阵：如果$-A$是半正定的

正定矩阵的等价条件：

• 存在可逆矩阵$C$使$C^{T}C$等于该矩阵
• 正定矩阵$<=>$所有特征值取正实数，半正定矩阵$<=>$所有特征值取非负实数

0.4. 特征值

• 对于n阶对称矩阵$A$的特征值都是实数。
• 对于n阶对称矩阵$A$，总存在正交阵$Q$，使得$Q^{-1}AQ$是对角阵，且对角线元素就是$A$的特征值按从大到小排列。即$Q^{-1}AQ=diag({\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_n),{\lambda }_1>{\lambda }_2>\cdots >{\lambda }_n$。

1. 奇异值分解（Singular Value Decomposition）

1.1. svd的数学描述

svd告诉我们，对任意$m\times n$的矩阵$A$，都可以表示为下面这种形式：
$$\begin{gathered} A=U\Sigma V^T \\ \text{\hspace{1em}(1,1)} \end{gathered}$$
其中$U$是$m\times m$的正交阵，$V$是$n\times n$的正交阵，$\Sigma$是$m\times n$的对角阵，
$$\begin{gathered} \Sigma =\left[\begin{array}{cc}{\Sigma }_1& 0\\ 0& 0\end{array}\right] \\ \text{\hspace{1em}(1,2)} \end{gathered}$$
${\Sigma }_1=diag({\sigma }_1,{\sigma }_2,\cdots ,{\sigma }_r),r=rank(A)$，其对角元素按照从大到小排列

1.2. svd的证明

在开始证明前，先给出几个引理：

• 引理1：$A^{T}A$可对角化，且具有实的非负特征值（这是因为$A^{T}A$是半正定矩阵）
• 引理2：$rank(A)=rank(A^{T}A)=rank(A{A}^T)$
• 引理3：$A=0\iff A^{T}A=0$

下面开始证明：
设$rank(A)=r$，根据引理1和引理2，存在$n\times n$的正交矩阵$V$，使得
$$\begin{gathered} V^T(A^{T}A)V=diag({\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_n) \\ \text{\hspace{1em}(1,3)} \end{gathered}$$
其中${\lambda }_1>{\lambda }_2>\cdots >{\lambda }_r>0={\lambda }_{r+1}=\cdots ={\lambda }_n$为$A^{T}A$的n个非负特征根。
令${\Sigma }_1=diag({\sigma }_1,{\sigma }_2,\cdots ,{\sigma }_r)=diag({\sqrt{\sigma }}_1,{\sqrt{\sigma }}_2,\cdots ,{\sqrt{\sigma }}_r)$，$V_1=[v_1,v_2,\cdots ,v_r]，V_2=[v_{r+1},v_{r+2},\cdots ,v_n]$，并且有$V=[V_1,V_2]$。
从而有$A^{T}A{V}_1=V_1{\Sigma }_1^2$，进一步得到：
$$\begin{gathered} {\Sigma }_1^{-1}{V}_1^T{A}^{T}A{V}_1{\Sigma }_1^{-1}=I \\ \text{\hspace{1em}(1,4)} \end{gathered}$$
令$U_1=A{V}_1{\Sigma }_1^{-1}$，则有$U_1^T{U}_1=I$。此时，我们可以选择$m-r$组标准正交向量与$U_1$的列向量组成一组标准正交基，也即$U=[U_1,U_2]$是一个m阶正交阵，且$U_1^T{U}_2=0$。
另一方面，容易得到：
$$\begin{gathered} A^{T}A{V}_2=V_{2}0\Rightarrow V_2^T{A}^{T}A{V}_2=0 \\ \text{\hspace{1em}(1,5)} \end{gathered}$$
根据引理3可得$A{V}_2=0$

综上可得：
$$\begin{array}{rl}{U}^{T}AV& =\left[\begin{array}{cc}{U}_1^{T}A{V}_1& U_1^{T}A{V}_2\\ U_2^{T}A{V}_1& U_2^{T}A{V}_2\end{array}\right]\\ & =\left[\begin{array}{cc}{\Sigma }_1& 0\\ U_2^T{U}_1{\Sigma }_1& 0\end{array}\right]\\ & =\left[\begin{array}{cc}{\Sigma }_1& 0\\ 0& 0\end{array}\right]\\ & =\Sigma \end{array}\text{\hspace{1em}(1,6)}$$
也即$A=U\Sigma V^T$，到此奇异值分解定理得证。

2. SVD的应用

2.1. 矩阵压缩

矩阵压缩的具体场景有很多，例如图像就是一个矩阵，神经网络里面的某一层的权重也是一个矩阵。
由$(1,1)$可知
$$A={\sigma }_1{u}_1{v}_1^T+{\sigma }_2{u}_2{v}_2^T+\cdots {\sigma }_r{u}_r{v}_r^T\text{\hspace{1em}(2,1)}$$
注意上式用到了Kronecker积
将奇异值从大到小排序，选择前k个最大的奇异值对应的乘积项，可以在尽可能保留矩阵信息的情况下压缩存储空间