这节课的主题包含以下几个方面：

• 矩阵的4个子空间
• 左逆矩阵
• 右逆矩阵
• 伪逆矩阵
• 空间映射

1. 特殊矩阵逆

1.1 左逆矩阵 - 列满秩

假设我们有一个m行n列的矩阵A，秩为r，当 r = n时，求矩阵A的左逆矩阵。

• 当 r = n 时，可得 $\mathrm{r}(A^{T}A)=n$,所以可得$A^{T}A$可逆，所以可得
  $$\begin{array}{c}(A^{T}A{)}^{-1}{A}^{T}A=I\Rightarrow A_{left}^{-1}=(A^{T}A{)}^{-1}{A}^T\end{array}$$
  将$A_{left}^{-1}$右乘A得到I，左乘以A，得到t
• 最小二乘法
  $$\begin{array}{c}{A}^{T}A\hat{x}=A^{T}b\Rightarrow \hat{x}=(A^{T}A{)}^{-1}{A}^{T}b\Rightarrow p=A\hat{x}=A(A^{T}A{)}^{-1}{A}^{T}b\end{array}$$
• 投影矩阵P
  $$\begin{array}{c}P=A(A^{T}A{)}^{-1}{A}^T=A{A}_{left}^{-1}\end{array}$$
  这个左逆矩阵 $A{A}_{left}^{-1}$居然跟投影矩阵P一样！！！！

1.2 右逆矩阵 - 行满秩

假设我们有一个m行n列的矩阵A，秩为r，当 r = m时，求矩阵A的右逆矩阵。

• 当 r = m 时，可得 $\mathrm{r}(A{A}^T)=m$,所以可得$A{A}^T$可逆，所以可得
  $$\begin{array}{c}A{A}^T(A{A}^T{)}^{-1}=I\Rightarrow A_{right}^{-1}=A^T(A{A}^T{)}^{-1}\end{array}$$
• 投影矩阵与左右逆矩阵的关系
• 1. 将向量投影到A的列空间中
     $$\begin{array}{c}A{A}_{left}^{-1}=A(A^{T}A{)}^{-1}{A}^T=P_{columns}\end{array}$$
• 2. 将向量投影到A的行空间中
     $$\begin{array}{c}{A}_{right}^{-1}A=A^T(A{A}^T{)}^{-1}A=P_{rows}\end{array}$$

1.3 映射

假设$x_1\ne x_2\in$RowSpace,$A{x}_1=y_1,A{x}_2=y_2$,假设$y_1=y_2\in$ColumnSpace，
那么可以得到$A(x_1-x_2)=0$,那么可以得到向量$x_1-x_2$在A矩阵的零空间中，但是零空间中的向量是可行空间中的向量正交的，无法通过从行空间的任意两个向量通过线性组合而成一个零空间的向量。所以产生了矛盾，所以$y_1\ne y_2$

2. 四个子空间

我们知道，对于一个m 行 n 列的矩阵A来说，根据列和行来说，分成4个空间，

• $C(A)$列空间(columns space)，维度为$R^m$
• $C(A^T)$行空间(rows space)，维度为$R^n$
• $N(A)$零空间(rows space)，维度为$R^n$
• $N(A^T)$左零空间(rows space)，维度为$R^m$
  四个子空间的相互关系如下：
  

3. 伪逆矩阵

左逆矩阵和右逆矩阵都是在秩为m，或者n的情况下求出来的，不具备一般性，一般情况下，我们矩阵A的秩r ，$r\le m,r\le n$，在这个情况下，$A^{T}A,A{A}^T$均无法得到可逆矩阵，也就无法生成一个逆矩阵了，这时我们就需要用到奇异值分解SVD.

• 先将矩阵A进行SVD奇异值分解
  $$\begin{array}{c}A=U\Sigma V^T\end{array}$$
• 求伪逆$A^{+}$
  $$\begin{array}{c}{A}^{+}=V{\Sigma }^{-1}{U}^T\end{array}$$
• 但发现，这个$\Sigma$里面有0，直接求逆求不出来，失败了
• 加一个惩罚项目$\delta \to 0$
  $$\begin{array}{c}(A^{T}A+{\delta }^{2}I)\hat{x}=A^{T}b\Rightarrow \hat{x}=(A^{T}A+{\delta }^{2}I{)}^{-1}{A}^{T}b\end{array}$$
  这不就是岭回归吗？真神奇！！！