A.3 奇异值分解

任意实矩阵 $\mathbf{A}\in {\mathbb{R}}^{m\times n}$ 都可分解为

$$\mathbf{A}=\mathbf{U\Sigma }{\mathbf{V}}^T,\text{\hspace{1em}(A.33)}$$

其中， $\mathbf{U}\in {\mathbb{R}}^{m\times m}$ 是满足 ${\mathbf{U}}^T\mathbf{U}=\mathbf{I}$ 的 $m$ 阶酉矩阵(unitary matrix)； $\mathbf{V}\in {\mathbb{R}}^{n\times n}$ 是满足 ${\mathbf{V}}^T\mathbf{V}=\mathbf{I}$ 的 $n$ 阶酉矩阵； $\mathbf{\Sigma }\in {\mathbb{R}}^{m\times n}$ 是 $m\times n$ 的矩阵，其中 $(\mathbf{\Sigma }{)}_{ii}={\sigma }_i$ 且其他位置的元素均为 0， ${\sigma }_i$ 为非负实数且满足 ${\sigma }_1\ge {\sigma }_2\ge \dots \ge 0$ 。

式(A.33)中的分解称为奇异值分解(Singular Value Decomposition, 简称 SVD)，其中 $\mathbf{U}$ 的列向量 $u_i\in {\mathbb{R}}^m$ 称为 $\mathbf{A}$ 的左奇异向量(left-singular vector)， $\mathbf{V}$ 的列向量 $v_i\in {\mathbb{R}}^n$ 称为 $\mathbf{A}$ 的右奇异向量(right-singular vector)， ${\sigma }_i$ 称为奇异值(singular value)。矩阵 $\mathbf{A}$ 的秩(rank)就等于非零奇异值的个数。

奇异值分解有广泛的用途，例如对于低秩矩阵近似(low-rank matrix approximation)问题，给定一个秩为 $r$ 的矩阵 $\mathbf{A}$ ，欲求其最优 $k$ 秩近似矩阵 $\tilde{\mathbf{A}}$ ， $k<r$ ，该问题可形式化为

$$\begin{gathered} \underset{\tilde{\mathbf{A}}\in {\mathbb{R}}^{m\times n}}{\min }\Vert \mathbf{A}-\tilde{\mathbf{A}}{\Vert }_F \\ s.t.\text{rank}(\tilde{\mathbf{A}})=k.\text{\hspace{1em}(A.34)} \end{gathered}$$
奇异值分解提供了上述问题的解析解：对矩阵 $\mathbf{A}$ 进行奇异值分解后，将矩阵 $\mathbf{\Sigma }$ 中的 $r-k$ 个最小的奇异值置零获得矩阵 ${\mathbf{\Sigma }}_k$ ，即仅保留最大的 $k$ 个奇异值，则

$${\mathbf{A}}_k={\mathbf{U}}_k{\mathbf{\Sigma }}_k{\mathbf{V}}_k^T\text{\hspace{1em}(A.35)}$$

就是式(A.34)的最优解，其中 ${\mathbf{U}}_k$ 和 ${\mathbf{V}}_k$ 分别是式(A.33)中的前 $k$ 列组成的矩阵。这个结果称为 Eckart-Young-Mirsky 定理。

补充酉矩阵性质：

酉矩阵的性质

酉矩阵（Unitary Matrix）是复数域上满足以下条件的$n\times n$矩阵$U$：
$$U^{\ast }U=I$$
其中$U^{\ast }$表示$U$的共轭转置，$I$为单位矩阵。以下是其主要性质：

1. 逆矩阵与共轭转置的关系
   酉矩阵的逆矩阵等于其共轭转置：
   $$U^{-1}=U^{\ast }$$

2. 行列式的模长
   酉矩阵的行列式绝对值为1：
   $$|\det (U)|=1$$

3. 保持内积与向量长度
   对任意向量$x,y\in {\mathbb{C}}^n$，酉矩阵保持内积和向量长度不变：
   $$⟨Ux,Uy⟩=⟨x,y⟩,\Vert Ux\Vert =\Vert x\Vert$$

4. 特征值的性质
   酉矩阵的特征值$\lambda$满足$|\lambda |=1$，即分布在复平面的单位圆上。

5. 矩阵乘积的酉性
   若$U$和$V$均为酉矩阵，则它们的乘积$UV$也是酉矩阵。

6. 与正交矩阵的关系
   在实数域中，酉矩阵退化为正交矩阵，满足$Q^{\top }Q=I$。

7. 奇异值均为1
   酉矩阵的奇异值分解（SVD）中所有奇异值为1，即：
   $$U=U\Sigma V^{\ast }⟹\Sigma =I$$
   这一性质使其在信号处理和量子力学中尤为重要。