Vector Approximate Message Passing, VAMP

向量序列的收敛

$\mathbf{x}(N)$是一个$rN$维的向量，其形式为
$$\mathbf{x}(N)=({\mathbf{x}}_1(N),\dots ,{\mathbf{x}}_N(N))\in {\mathbb{R}}^{rN\times 1}\text{\hspace{1em}(28)}$$
其中的子向量${\mathbf{x}}_n(N)\in {\mathbb{R}}^r,\forall n$（$r$可能等于1，表示块向量为标量）。我们称$\mathbf{x}(N)$是一个块向量序列（block vector sequence），该块向量序列含$N$块。这样的向量序列可以是确定的，也可以是随机的。多数情况下，我们会省去符号$N$而简写为$\mathbf{x}$。

$p$阶伪Lipschitz函数的定义：给定$p\ge 1$，$\mathbf{f}:{\mathbb{R}}^s\to {\mathbb{R}}^r$，若
$$\exists C>0,\text{ such that }\Vert \mathbf{f}({\mathbf{x}}_1)-\mathbf{f}({\mathbf{x}}_2)\Vert \le C\Vert {\mathbf{x}}_1-{\mathbf{x}}_2\Vert \left[1+{\Vert {\mathbf{x}}_1\Vert }^{p-1}+{\Vert {\mathbf{x}}_2\Vert }^{p-1}\right]\text{\hspace{1em}(29)}$$

则$\mathbf{f}$是$p$阶的伪Lipschitz函数。若$p=1$，则伪Lipschitz连续就是标准的Lipschitz连续。

现在假设$\mathbf{x}=\mathbf{x}(N)$是一个块序列向量。给定$p\ge 1$，如果存在一个随机向量$\mathbf{X}\in {\mathbb{R}}^r$满足以下两个条件
（1）$\mathbb{E}{|\mathbf{X}|}^p<\infty$
（2）对于任意的$p$阶标量伪Lipschitz连续函数，有
$$\underset{N\to \infty }{\lim }\frac{1}{N}\sum _{n=1}^{N}f(x_n(N))=\mathbb{E}[f(X)]\text{ a.s..}\text{\hspace{1em}(30)}$$
那么我们说$\mathbf{x}=\mathbf{x}(N)$满足$p$阶矩经验收敛，可简写为
lim ⁡ N → ∞ { x n } n = 1 N = P L ( p ) X (31) \lim_{N \rightarrow \infty} {\{ x_n \}}_{n=1}^N \overset{PL\left( p \right)}{=} X \tag{31} N→∞lim​{xn​}n=1N​=PL(p)X(31)
$x_n$即是$x_n(N)$的缩略形式。重要的是，条件（2），即式（30）对于标量也成立。

均匀Lipschitz连续的定义：给定函数$\mathbf{\varphi }(\mathbf{r},\gamma )$，如果存在$L_1,L_2\ge 0$，以及$\overline{\gamma }$的一个邻域$U$，使得

$$\Vert \mathbf{\varphi }({\mathbf{r}}_1,\gamma )-\mathbf{\varphi }({\mathbf{r}}_2,\gamma )\Vert \le L_1\Vert {\mathbf{r}}_1-{\mathbf{r}}_2\Vert \forall {\mathbf{r}}_1,{\mathbf{r}}_1\in {\mathbb{R}}^s,\gamma \in U\text{\hspace{1em}(32)}$$

$$\Vert \mathbf{\varphi }(\mathbf{r},{\gamma }_1)-\mathbf{\varphi }(\mathbf{r},{\gamma }_2)\Vert \le L_2(1+\Vert \mathbf{r}\Vert )|{\gamma }_1-{\gamma }_2|\forall \mathbf{r}\in {\mathbb{R}}^s,{\gamma }_1,{\gamma }_2\in U\text{\hspace{1em}(33)}$$

则认为函数$\mathbf{\varphi }(\mathbf{r},\gamma )$在$\overline{\gamma }$满足均匀Lipschitz连续（Uniform Lipschitz Continuous）。

状态演进分析

大系统分析

1. 线性测量模型
   重写系统模型为：
   $$\mathbf{y}={\mathbf{A}\mathbf{x}}^0+\mathbf{w}\in {\mathbb{R}}^M\mathbf{w}\sim \mathcal{N}(0,{\gamma }_{\omega 0}^{-1}{I\text{I}I}_N)\text{\hspace{1em}(34)}$$
   其中$\mathbf{A}\in {\mathbb{R}}^{N\times N}$（$\mathbf{A}$已知且为方阵【为了便于分析】），高斯噪声$\mathbf{w}$的精度为${\gamma }_{\omega 0}^{}$（注意：${\gamma }_{\omega 0}^{}$表示的是真实噪声精度，${\gamma }_{\omega }^{}$表示的是估计噪声精度）。
   关于矩阵$\mathbf{A}$的假设：我们假设矩阵$\mathbf{A}$是一个大的右旋转不变（Right-orthogonally invariant）矩阵，它的奇异值分解为
   $$\mathbf{A}=\mathbf{U}\mathbf{S}{\mathbf{V}}^T,\mathbf{S}=\text{Diag}(\mathbf{s})\text{\hspace{1em}(35)}$$

其中，$\mathbf{U},\mathbf{V}\in {\mathbb{R}}^{N\times N}$是酉阵，并且$\mathbf{U}$是确定的，$\mathbf{V}$服从Haar分布（在正交阵集合中服从均匀分布）。

右旋转不变的解释：
$$p(\mathbf{A})=p({\mathbf{A}\mathbf{V}}_0)\text{for any fixed orthogonal matrix }{\mathbf{V}}_0\text{\hspace{1em}(36)}$$

如何理解长方矩阵$\mathbf{A}$：
$$\mathbf{A}={\mathbf{U}\mathbf{S}\mathbf{V}}^T=\left[\begin{array}{cc}{\mathbf{U}}_0& 0\\ 0& \mathbf{I}\end{array}\right]\mathrm{D}\mathrm{i}\mathrm{a}\mathrm{g}\left(\left[\begin{array}{c}{\mathbf{s}}_0\\ 0\end{array}\right]\right){\mathbf{V}}^T={\mathbf{U}}_0{\mathbf{S}}_0{\mathbf{V}}^T\text{\hspace{1em}(37)}$$

2. 滤波（去噪）
   在分析当中，我们认为滤波函数${\mathrm{g}\text{g}\mathrm{g}}_1(\cdot ,{\gamma }_{1k})$是一般的，不针对特定的准则，假设元素可分${\mathrm{g}}_1(\cdot ,{\gamma }_{1k})$，并且${\mathrm{g}}_1(\cdot ,{\gamma }_{1k})$满足特定的Lipschitz连续条件。
3. 逼近分布
   对于式（34）给出的模型，噪声分布已知，对矩阵$\mathbf{A}$的奇异值分解形式（37），我们已知矩阵$\mathbf{U}$是确定的，矩阵$\mathbf{V}$服从Haar分布，现在只剩真实向量${\mathbf{x}}^0$和奇异值向量$\mathbf{s}$的分布未知。这里不去深究个中原因，直接给出以下结论：
   （1）我们假设奇异值向量$\mathbf{s}\in {\mathbb{R}}^N$的元素，以二阶矩经验收敛于随机变量$S$，结合式（31），得到
   lim ⁡ N → ∞ { s n } n = 1 N = P L ( 2 ) S (38) \lim_{N \rightarrow \infty} {\{ s_n \}}_{n=1}^N \overset{PL\left( 2 \right)}{=} S \tag{38} N→∞lim​{sn​}n=1N​=PL(2)S(38)

并假设$\mathbb{E}[S]>0$且$S\in [0,S_{\text{max}}]$。
（2）我们假设滤波器的初始输入${\mathbf{r}}_{10}$和真实信号${\mathbf{x}}^0$经验收敛如下：
lim ⁡ N → ∞ { r 10 , n , x n 0 } n = 1 N = P L ( 2 ) ( R 10 , X 0 ) (39) \lim_{N \rightarrow \infty} {\{ r_{10,n},x^0_{n} \}}_{n=1}^N \overset{PL\left( 2 \right)}{=} (R_{10},X^0) \tag{39} N→∞lim​{r10,n​,xn0​}n=1N​=PL(2)(R10​,X0)(39)

我们考虑式（9）给出的MMSE滤波器，在考虑${\mathbf{x}}^0$的逼近分布下，即式（39），MMSE滤波器${\mathrm{g}}_1(r_1,{\gamma }_1)$及其一阶导可以表示为：
$$\begin{gathered} {\mathrm{g}}_1(r_1,{\gamma }_1)=\mathbb{E}\left[X^0|R_1=r_1\right] \\ {\mathrm{g}}_1^{\prime }(r_1,{\gamma }_1)={\gamma }_1\text{var}\left[X^0|R_1=r_1\right] \\ {R}_1=X^0+P,P\sim \mathcal{N}(0,{\gamma }_1^{-1})\text{\hspace{1em}(40)} \end{gathered}$$

因此,MMSE滤波器及其一阶导可以通过计算后验分布$p(X^0|R_1=r_1)$的均值和方差得到。

误差函数（Error Function）

（1）对从测量值$R$的估计$\hat{X}={\mathrm{g}}_1(R_1,{\gamma }_1)$的MSE ${\mathcal{E}}_1({\gamma }_1,{\tau }_1)$：
$$\begin{gathered} {\mathcal{E}}_1({\gamma }_1,{\tau }_1):=\mathbb{E}\left[{({\mathrm{g}}_1(R_1,{\gamma }_1)-X^0)}^2\right] \\ {R}_1=X^0+P,P\sim \mathcal{N}(0,{\tau }_1)\text{\hspace{1em}(41)} \end{gathered}$$
（2）LMMSE估计器（回忆式（23））的误差函数：
$$\begin{gathered} {\mathcal{E}}_2({\gamma }_2,{\tau }_2):=\underset{N\to \infty }{\lim }\frac{1}{N}\mathbb{E}\left[{\Vert {\mathrm{g}\text{g}\mathrm{g}}_2({\mathbf{r}}_2,{\gamma }_2)-{\mathbf{x}}^0\Vert }^2\right], \\ {\mathbf{r}}_2={\mathbf{x}}^0+\mathbf{q},\mathbf{q}\sim \mathcal{N}(0,{\tau }_{2}I\text{I}I) \\ \mathbf{y}={\mathbf{A}\mathbf{x}}^0+\mathbf{w},\mathbf{w}\sim \mathcal{N}(0,{\gamma }_{\omega 0}^{-1})\text{\hspace{1em}(42)} \end{gathered}$$
当${\tau }_1={\gamma }_1^{-1},{\tau }_2={\gamma }_2^{-1},{\gamma }_{\omega }={\gamma }_{\omega 0}$时，我们认为两个估计器${\mathrm{g}\text{g}\mathrm{g}}_1$和${\mathrm{g}\text{g}\mathrm{g}}_2$都是“匹配的”，在该匹配条件下，使用更加简略的符号：
$${\mathcal{E}}_1({\gamma }_1):={\mathcal{E}}_1({\gamma }_1^{},{\gamma }_1^{-1}),{\mathcal{E}}_2({\gamma }_2):={\mathcal{E}}_2({\gamma }_2^{},{\gamma }_2^{-1})\text{\hspace{1em}(43)}$$

引理1：对以上两个误差函数${\mathcal{E}}_1,{\mathcal{E}}_2$
（a）对式（40）所描述的MMSE滤波器，在“匹配”条件下，即${\tau }_1={\gamma }_1^{-1}$时，误差函数就是条件方差，即，
$${\mathcal{E}}_1({\gamma }_1)=\text{var}\left[X^0|R_1=X^0+P\right],P\sim \mathcal{N}(0,{\gamma }_1^{-1})\text{\hspace{1em}(44)}$$

（直接由式（40）得到）
（b）LMMSE误差函数可以被表示为：
$${\mathcal{E}}_2({\gamma }_2,{\tau }_2)=\underset{N\to \infty }{\lim }\frac{1}{N}\text{tr}\left[{\mathbf{Q}}^{-2}\tilde{\mathbf{Q}}\right]\text{\hspace{1em}(45)}$$

其中，
$$\mathbf{Q}:={\gamma }_{\omega }{\mathbf{A}}^T\mathbf{A}+{\gamma }_{2}I\text{I}I,\tilde{\mathbf{Q}}:=\frac{{\gamma }_{\omega }^2}{{\gamma }_{\omega 0}}{\mathbf{A}}^T\mathbf{A}+{\tau }_2{\gamma }_2^{2}I\text{I}I\text{\hspace{1em}(46)}$$

当满足匹配条件${\tau }_2={\gamma }_2^{-1}$，${\gamma }_{\omega }={\gamma }_{\omega 0}$时，
$${\mathcal{E}}_2({\gamma }_2)=\underset{N\to \infty }{\lim }\frac{1}{N}\text{tr}\left[{\mathbf{Q}}^{-1}\right]\text{\hspace{1em}(47)}$$

证明（b）：已知$\mathbf{y}={\mathbf{A}\mathbf{x}}^0+\mathbf{w}$，${\mathbf{r}}_2={\mathbf{x}}^0+\mathbf{q}$
LMMSE估计的误差：
$$\begin{array}{rl}{\mathrm{g}\text{g}\mathrm{g}}_2({\mathbf{r}}_2,{\gamma }_2)-{\mathbf{x}}^0& ={\left({\gamma }_{\omega }{\mathbf{A}}^T\mathbf{A}+{\gamma }_{2k}I\text{I}I\right)}^{-1}\left({\gamma }_{\omega }{\mathbf{A}}^T({\mathbf{A}\mathbf{x}}^0+\mathbf{\omega })+{\gamma }_2{\mathbf{r}}_2\right)-{\mathbf{x}}^0\\ & ={\left({\gamma }_{\omega }{\mathbf{A}}^T\mathbf{A}+{\gamma }_{2k}I\text{I}I\right)}^{-1}\left({\gamma }_2\mathbf{q}+{\gamma }_{\omega }{\mathbf{A}}^T\mathbf{w}\right)\\ & ={\mathbf{Q}}^{-1}\left({\gamma }_2\mathbf{q}+{\gamma }_{\omega }{\mathbf{A}}^T\mathbf{w}\right)\end{array}\text{\hspace{1em}(48)}$$

${\mathrm{g}\text{g}\mathrm{g}}_2({\mathbf{r}}_2,{\gamma }_2)-{\mathbf{x}}^0$的协方差矩阵为：
$$\begin{array}{rl}& \mathbb{E}\left[({\mathrm{g}\text{g}\mathrm{g}}_2({\mathbf{r}}_2,{\gamma }_2)-{\mathbf{x}}^0)({\mathrm{g}\text{g}\mathrm{g}}_2({\mathbf{r}}_2,{\gamma }_2)-{\mathbf{x}}^0{)}^T\right]\\ & ={\mathbf{Q}}^{-1}\left[{\gamma }_2^2\mathbb{E}[\mathbf{q}{\mathbf{q}}^T]+{\gamma }_{\omega }^2\mathbf{A}\mathbb{E}[{\mathbf{w}\mathbf{w}}^T]{\mathbf{A}}^T\right]{\mathbf{Q}}^{-1}\\ & ={\mathbf{Q}}^{-1}\tilde{\mathbf{Q}}{\mathbf{Q}}^{-1}\end{array}\text{\hspace{1em}(49)}$$

将式（49）求迹代入到式（42）即可得到式（47）
证毕！
（c）LMMSE误差函数也可以被表示为（将$\mathbf{A}$的奇异值分解代入到（b）中 i）：
$${\mathcal{E}}_2({\gamma }_2,{\tau }_2)=\mathbb{E}\left[\frac{{\gamma }_{\omega }^2{S}^2/{\gamma }_{\omega 0}+{\tau }_2{\gamma }_2^2}{({\gamma }_{\omega }{S}^2+{\gamma }_2{)}^2}\right]\text{\hspace{1em}(50)}$$
其中$S$是一个A的奇异值所构成的随机变量（如式（38）），对于“匹配”条件：${\tau }_2={\gamma }_2^{-1}$，${\gamma }_{\omega }={\gamma }_{\omega 0}$，有
$${\mathcal{E}}_2({\gamma }_2)=\mathbb{E}\left[\frac{1}{{\gamma }_{\omega }{S}^2+{\gamma }_2}\right]\text{\hspace{1em}(51)}$$

敏感函数（Sensitivity Function）

敏感函数描述的是估计器（滤波器）的期望散度。
（1）对于滤波器${\mathrm{g}}_1\text{g1}{\mathrm{g}}_1$，其敏感函数定义为：
$$\begin{gathered} A_1({\gamma }_1,{\tau }_1):=\mathbb{E}[{\mathrm{g}}_1^{\prime }({\mathrm{R}}_1,{\gamma }_1)], \\ {R}_1=X^0+P,P\sim \mathcal{N}(0,{\tau }_1)\text{\hspace{1em}(52)} \end{gathered}$$
（2）对于LMMSE估计器，其敏感函数定义为：
$$A_2({\gamma }_2):=\underset{N\to \infty }{\lim }\frac{1}{N}\text{tr}\left[\frac{\partial {\mathrm{g}}_2({\mathbf{r}}_2,{\gamma }_2)\text{g2(r2,γ2)}{\mathrm{g}}_2({\mathbf{r}}_2,{\gamma }_2)}{\partial {\mathbf{r}}_2}\right]\text{\hspace{1em}(53)}$$

引理2：对于上述敏感函数：
（a） “匹配”条件下${\tau }_1={\gamma }_1^{-1}$，的MMSE滤波器，敏感函数为
$$A_1({\gamma }_1,{\gamma }_1^{-1})={\gamma }_1\text{var}\left[X^0|R_1=X^0+\mathcal{N}(0,{\gamma }_1^{-1})\right]\text{\hspace{1em}(54)}$$
（2）LMMSE估计器的敏感函数
A 2 ( γ 2 ) = lim ⁡ N → ∞ 1 N γ 2 tr { Q − 1 } (55) A_2(\gamma_2 ) = \lim_{N \rightarrow \infty} \frac{1}{N} \gamma_2 \text{tr} \{ \boldsymbol Q^{-1} \} \tag{55} A2​(γ2​)=N→∞lim​N1​γ2​tr{Q−1}(55)
（c）LMMSE估计器的敏感函数也可写作：
$$A_2({\gamma }_2)=\mathbb{E}\left[\frac{{\gamma }_2}{{\gamma }_{\omega }{S}^2+{\gamma }_2}\right]\text{\hspace{1em}(56)}$$

线性约束下的正交阵

（服务于理论1的证明）
假设$\mathbf{V}\in {\mathbb{R}}^{N\times N}$是正交阵，且满足线性约束
$$\mathbf{A}=\mathbf{V}\mathbf{B}\text{\hspace{1em}(57)}$$
其中$\mathbf{A},\mathbf{B}\in {\mathbb{R}}^{N\times s}$，假设矩阵$\mathbf{A},\mathbf{B}$列满秩，因此$s\le N$。让
$${\mathbf{U}}_{\mathbf{A}}=\mathbf{A}({\mathbf{A}}^T\mathbf{A}{)}^{-1/2},{\mathbf{U}}_{\mathbf{B}}=\mathbf{B}({\mathbf{B}}^T\mathbf{B}{)}^{-1/2}\text{\hspace{1em}(67)}$$
我们记矩阵$\mathbf{A}$的SVD分解形式为$\mathbf{A}={\mathbf{E}}_{\mathbf{A}}{\mathbf{\Sigma }}_{\mathbf{A}}{\mathbf{F}}_{\mathbf{A}}^{\mathbf{T}}$，矩阵$\mathbf{B}$类似，为$\mathbf{B}={\mathbf{E}}_{\mathbf{B}}{\mathbf{\Sigma }}_{\mathbf{B}}{\mathbf{F}}_{\mathbf{B}}^{\mathbf{T}}$，其中${\mathbf{E}}_{\mathbf{A}},{\mathbf{E}}_{\mathbf{B}}\in {\mathbb{R}}^{N\times s}$，则
$${\mathbf{U}}_{\mathbf{A}}={\mathbf{E}}_{\mathbf{A}}{\mathbf{F}}_{\mathbf{A}}^{\mathbf{T}},{\mathbf{U}}_{\mathbf{B}}={\mathbf{E}}_{\mathbf{B}}{\mathbf{F}}_{\mathbf{B}}^{\mathbf{T}}\text{\hspace{1em}(68)}$$
令${\mathbf{U}}_{{\mathbf{A}}^{\perp }}\in {\mathbb{R}}^{N\times (N-s)}$表征$\text{range}(\mathbf{A}{)}^{\perp }$的正交基底所构成的矩阵（列向量正交），令${\mathbf{U}}_{{\mathbf{B}}^{\perp }}\in {\mathbb{R}}^{N\times (N-s)}$表征$\text{range}(\mathbf{B}{)}^{\perp }$的正交基底所构成的矩阵（列向量正交）。注意到
$$\text{range}(\mathbf{A}{)}^{\perp }=\text{ker}{\mathbf{A}}^T\text{\hspace{1em}(69)}$$
而${\mathbf{A}}^T$的SVD分解为${\mathbf{A}}^T={\mathbf{F}}_{\mathbf{A}}{\mathbf{\Sigma }}_{\mathbf{A}}{\mathbf{E}}_{\mathbf{A}}^T$，假设$[{\mathbf{E}}_{\mathbf{A}},{\mathbf{E}}_{\mathbf{A}}^{\perp }]\in R^{N\times N}$构成一个正交阵，其中${\mathbf{E}}_{\mathbf{A}}^{\perp }$表征$\text{range}({\mathbf{E}}_{\mathbf{A}}{)}^{\perp }$。所以有，
$$\begin{gathered} \text{ker}{\mathbf{A}}^T=\text{range}(E_{\mathbf{A}}{)}^{\perp }=\text{ker}{\mathbf{E}}_{\mathbf{A}}^T \\ (\text{range}\mathbf{A}{)}^{\perp }=\text{ker}(E_{\mathbf{A}}^T{)}^{}=(\text{range}{\mathbf{E}}_{\mathbf{A}}{)}^{\perp }\text{\hspace{1em}(70)} \end{gathered}$$
同理，$\mathbf{B}$也有类似的结论，这里不做赘述。因此，可令
$${\mathbf{U}}_{{\mathbf{A}}^{\perp }}={\mathbf{E}}_{\mathbf{A}}^{\perp },{\mathbf{U}}_{{\mathbf{B}}^{\perp }}={\mathbf{E}}_{\mathbf{B}}^{\perp }\text{\hspace{1em}(71)}$$
此外，定义
$$\tilde{\mathbf{V}}:={\mathbf{U}}_{{\mathbf{A}}^{\perp }}^T\mathbf{V}{\mathbf{U}}_{{\mathbf{B}}^{\perp }}\in {\mathbb{R}}^{(N-s)\times (N-s)}\text{\hspace{1em}(72)}$$

引理3：在上述定义下，有如下关系式
$$\mathbf{V}=\mathbf{A}({\mathbf{A}}^T\mathbf{A}{)}^{-1}{\mathbf{B}}^T+{\mathbf{U}}_{{\mathbf{A}}^{\perp }}\tilde{\mathbf{V}}{\mathbf{U}}_{{\mathbf{B}}^{\perp }}^T\text{\hspace{1em}(73)}$$
证明：令${\mathbf{P}}_{\mathbf{A}}:={\mathbf{U}}_{\mathbf{A}}{\mathbf{U}}_{\mathbf{A}}^T={\mathbf{E}}_{\mathbf{A}}{\mathbf{E}}_{\mathbf{A}}^T$，${\mathbf{P}}_{\mathbf{A}}^{\perp }:={\mathbf{U}}_{{\mathbf{A}}^{\perp }}{\mathbf{U}}_{{\mathbf{A}}^{\perp }}^T={\mathbf{E}}_{\mathbf{A}}^{\perp }({\mathbf{E}}_{\mathbf{A}}^{\perp }{)}^T$，类似地定义${\mathbf{P}}_{\mathbf{B}}$和${\mathbf{P}}_{\mathbf{B}}^{\perp }$，则
$$({\mathbf{P}}_{\mathbf{A}}+{\mathbf{P}}_{\mathbf{A}}^{\perp })=\sum _i\left({\mathbf{u}}_{\mathbf{A},i}{\mathbf{u}}_{\mathbf{A},i}^T+{\mathbf{u}}_{\mathbf{A},i}^{\perp }({\mathbf{u}}_{\mathbf{A},i}^{\perp }{)}^T\right)=[{\mathbf{E}}_{\mathbf{A}},{\mathbf{E}}_{\mathbf{A}}^{\perp }]\cdot [{\mathbf{E}}_{\mathbf{A}},{\mathbf{E}}_{\mathbf{A}}^{\perp }{]}^T={I\text{I}I}_N\text{\hspace{1em}(74)}$$

又因为式（57）$\mathbf{A}=\mathbf{V}\mathbf{B}$，
$$\begin{array}{rl}& P_{\mathbf{B}}\text{ are the projections onto }\text{range}\mathbf{B}\\ & ⟹\forall \mathbf{x}\in {\mathbb{R}}^N,\exists \mathbf{y}\in {\mathbb{R}}^N\text{ such that }{\mathbf{P}}_{\mathbf{B}}\mathbf{x}=\mathbf{B}\mathbf{y}\\ & ⟹\mathbf{V}{\mathbf{P}}_{\mathbf{B}}\mathbf{x}=\mathbf{V}\mathbf{B}\mathbf{y}=\mathbf{A}\mathbf{y};\\ & \text{range}({\mathbf{P}}_{\mathbf{A}}^{\perp })=\text{range}({\mathbf{A}}^{\perp })\perp \text{range}(\mathbf{A})\\ & ⟹{\mathbf{P}}_{\mathbf{A}}^{\perp }\mathbf{A}\mathbf{y}={\mathbf{P}}_{\mathbf{A}}^{\perp }\mathbf{V}{\mathbf{P}}_{\mathbf{B}}\mathbf{x}=0\\ & ⟹{\mathbf{P}}_{\mathbf{A}}^{\perp }\mathbf{V}{\mathbf{P}}_{\mathbf{B}}=0\end{array}$$

类似地，$\mathbf{A}=\mathbf{V}\mathbf{B}⟹\mathbf{B}={\mathbf{V}}^T\mathbf{A}$，同理可得${\mathbf{P}}_{\mathbf{B}}^{\perp }{\mathbf{V}}^T{\mathbf{P}}_{\mathbf{A}}=0⟹{\mathbf{P}}_{\mathbf{A}}^{}\mathbf{V}{\mathbf{P}}_{\mathbf{B}}^{\perp }=0$
$$\{\begin{array}{l}{\mathbf{P}}_{\mathbf{A}}^{\perp }\mathbf{V}{\mathbf{P}}_{\mathbf{B}}=0\\ {\mathbf{P}}_{\mathbf{A}}^{}\mathbf{V}{\mathbf{P}}_{\mathbf{B}}^{\perp }=0\end{array}\text{\hspace{1em}(75)}$$

因此
$$\begin{array}{rl}\mathbf{V}& =({\mathbf{P}}_{\mathbf{A}}+{\mathbf{P}}_{\mathbf{A}}^{\perp })\mathbf{V}({\mathbf{P}}_{\mathbf{B}}+{\mathbf{P}}_{\mathbf{B}}^{\perp })\\ & ={\mathbf{P}}_{\mathbf{A}}^{}\mathbf{V}{\mathbf{P}}_{\mathbf{B}}^{}+{\mathbf{P}}_{\mathbf{A}}^{\perp }\mathbf{V}{\mathbf{P}}_{\mathbf{B}}^{\perp }\end{array}\text{\hspace{1em}(76)}$$

式（76）的第一项：
$$\begin{array}{rl}{\mathbf{P}}_{\mathbf{A}}^{}\mathbf{V}{\mathbf{P}}_{\mathbf{B}}^{}& ={\mathbf{P}}_{\mathbf{A}}^{}\mathbf{V}\mathbf{B}({\mathbf{B}}^T\mathbf{B}{)}^{-1}{\mathbf{B}}^T\\ & ={\mathbf{P}}_{\mathbf{A}}^{}\mathbf{A}({\mathbf{B}}^T\mathbf{B}{)}^{-1}{\mathbf{B}}^T\\ & ={\mathbf{E}}_{\mathbf{A}}{\mathbf{E}}_{\mathbf{A}}^T{\mathbf{E}}_{\mathbf{A}}{\mathbf{\Sigma }}_{\mathbf{A}}{\mathbf{F}}_{\mathbf{A}}^{\mathbf{T}}({\mathbf{B}}^T\mathbf{B}{)}^{-1}{\mathbf{B}}^T\\ & ={\mathbf{E}}_{\mathbf{A}}{\mathbf{\Sigma }}_{\mathbf{A}}{\mathbf{F}}_{\mathbf{A}}^{\mathbf{T}}({\mathbf{B}}^T\mathbf{B}{)}^{-1}{\mathbf{B}}^T\\ & =\mathbf{A}({\mathbf{B}}^T\mathbf{B}{)}^{-1}{\mathbf{B}}^T\\ & =\mathbf{A}({\mathbf{A}}^T\mathbf{A}{)}^{-1}{\mathbf{B}}^T(⟸{\mathbf{A}}^T\mathbf{A}={\mathbf{B}}^T{\mathbf{V}}^T\mathbf{V}\mathbf{B}={\mathbf{B}}^T\mathbf{B})\end{array}\text{\hspace{1em}(77)}$$

第二项：
$${\mathbf{P}}_{\mathbf{A}}^{\perp }\mathbf{V}{\mathbf{P}}_{\mathbf{B}}^{\perp }={\mathbf{U}}_{{\mathbf{A}}^{\perp }}\tilde{\mathbf{V}}{\mathbf{U}}_{{\mathbf{B}}^{\perp }}^T\text{\hspace{1em}(78)}$$

另外，可以得到矩阵$\tilde{\mathbf{V}}={\mathbf{U}}_{{\mathbf{A}}^{\perp }}^T\mathbf{V}{\mathbf{U}}_{{\mathbf{B}}^{\perp }}\in {\mathbb{R}}^{(N-s)\times (N-s)}$是正交阵，如下所述：
$$\begin{array}{rl}{\tilde{\mathbf{V}}}^T\tilde{\mathbf{V}}& ={\mathbf{U}}_{{\mathbf{B}}^{\perp }}^T{\mathbf{V}}^T{\mathbf{P}}_{\mathbf{A}}^{\perp }\mathbf{V}{\mathbf{U}}_{{\mathbf{B}}^{\perp }}\\ & ={\mathbf{U}}_{{\mathbf{B}}^{\perp }}^T{\mathbf{V}}^T(I\text{I}I-{\mathbf{P}}_{\mathbf{A}}^{})\mathbf{V}{\mathbf{U}}_{{\mathbf{B}}^{\perp }}\\ & ={\mathbf{U}}_{{\mathbf{B}}^{\perp }}^T{\mathbf{V}}^{T}I\text{I}I\mathbf{V}{\mathbf{U}}_{{\mathbf{B}}^{\perp }}-{\mathbf{U}}_{{\mathbf{B}}^{\perp }}^T{\mathbf{V}}^T{\mathbf{P}}_{\mathbf{A}}^{}\mathbf{V}{\mathbf{U}}_{{\mathbf{B}}^{\perp }}\\ & =I\text{I}I-{\mathbf{U}}_{{\mathbf{B}}^{\perp }}^T{\mathbf{V}}^T{\mathbf{P}}_{\mathbf{A}}^{}\mathbf{V}{\mathbf{U}}_{{\mathbf{B}}^{\perp }}\end{array}\text{\hspace{1em}(79)}$$

要证$\tilde{\mathbf{V}}$为正交阵，只需证：
$${\mathbf{U}}_{{\mathbf{B}}^{\perp }}^T{\mathbf{V}}^T{\mathbf{P}}_{\mathbf{A}}^{}\mathbf{V}{\mathbf{U}}_{{\mathbf{B}}^{\perp }}=0\text{0}0\text{\hspace{1em}(80)}$$
因为$\text{ range}({\mathbf{B}}^{\perp }{)}^{\perp }=\text{ker}(B^{\perp }{)}^T$，即$\text{ range}(\mathbf{B})=\text{ker}(B^{\perp }{)}^T$
所以只需证
$$\text{range}(\mathbf{B})=\text{range}({\mathbf{V}}^T{\mathbf{P}}_{\mathbf{A}})\text{\hspace{1em}(81)}$$
因为$\text{range}(A)=\text{range}({\mathbf{P}}_{\mathbf{A}})$，且$\mathbf{B}={\mathbf{V}}^T\mathbf{A}$，
$$\begin{gathered} \text{range}(\mathbf{B})=\text{range}({\mathbf{V}}^T\mathbf{A})\stackrel{?}{=}\text{range}({\mathbf{V}}^T{\mathbf{P}}_{\mathbf{A}}) \\ \text{?的充分必要性证明：} \\ \subseteq :\forall \mathbf{x},\exists \mathbf{y},\text{such that}\mathbf{A}\mathbf{x}={\mathbf{P}}_{\mathbf{A}}\mathbf{y} \\ \supseteq :\forall \mathbf{y},\exists \mathbf{x},\text{such that}{\mathbf{P}}_{\mathbf{A}}\mathbf{y}=\mathbf{A}\mathbf{x} \end{gathered}$$

因此式（81）成立，因此式（80）成立，因此式（79）成立，$\tilde{\mathbf{V}}$为正交阵。

引理4：让$\mathbf{V}\in {\mathbb{R}}^{N\times N}$满足Haar分布。假设上面所定义的矩阵$\mathbf{A},\mathbf{B}$是确定的，$G$代表事件：矩阵$\mathbf{V}$满足约束条件$\mathbf{A}=\mathbf{V}\mathbf{B}$，即式（57）。则给定事件$G$下，$\tilde{\mathbf{V}}$服从Haar分布且独立于$G$。
证明：令$O_N$表示$N\times N$的正交阵的集合，令 L = { V ∈ O N  and  A = V B } \mathcal L=\{ \boldsymbol V \in O_N \text{ and } \boldsymbol A = \boldsymbol {VB}\} L={V∈ON​ and A=VB}。不考虑约束条件（57），若$p_{\mathbf{V}}(\mathbf{V})$为在$O_N$上的均匀概率密度函数（Haar），那么给定事件$G$下，$\mathbf{V}$的条件概率密度函数为：
p V ∣ G ( V ∣ G ) = 1 Z p V ( V ) I { V ∈ L } (82) p_{\boldsymbol V|G}(\boldsymbol V|G)=\frac{1}{Z}p_{\boldsymbol V}(\boldsymbol V) \mathbb I_{\{ \boldsymbol V \in \mathcal L\}} \tag{82} pV∣G​(V∣G)=Z1​pV​(V)I{V∈L}​(82)
其中$\mathbb{I}(\cdot )$表示指示函数，$Z$是归一化因子。
结合式（72）和式（73），可以得到
p V ~ ∣ G ( V ~ ∣ G ) ∝ p V ∣ G ( ϕ ( V ~ ) ∣ G ) ∝ p V ( ϕ ( V ~ ) ) I { ϕ ( V ~ ) ∈ L } = p V ( ϕ ( V ~ ) ) (83) p_{\tilde {\boldsymbol V}|G}(\tilde {\boldsymbol V}|G) \propto p_{\boldsymbol V| G}(\phi(\tilde {\boldsymbol V})|G) \propto p_{\boldsymbol V}(\phi( \tilde {\boldsymbol V})) \mathbb I_{\{ \phi( \tilde {\boldsymbol V}) \in \mathcal L\}}=p_{\boldsymbol V}(\phi( \tilde {\boldsymbol V})) \tag{83} pV~∣G​(V~∣G)∝pV∣G​(ϕ(V~)∣G)∝pV​(ϕ(V~))I{ϕ(V~)∈L}​=pV​(ϕ(V~))(83)

式（83）最后一步是因为$\varphi (\tilde{\mathbf{V}})\in \mathcal{L}$意味着约束条件（式（57））已经满足，所以去掉了指示函数。
令$\varphi :\tilde{\mathbf{V}}\to \mathbf{V}$表示从$O_{N-s}$到$\mathcal{L}$的映射（该映射可逆）。要证明$\tilde{\mathbf{V}}$条件服从Haar分布，只需证
$$p_{\tilde{\mathbf{V}}|G}({\mathbf{W}}_0\tilde{\mathbf{V}}|G)=p_{\tilde{\mathbf{V}}|G}(\tilde{\mathbf{V}}|G)\text{for any }{\mathbf{W}}_0\in O_{N-s}\text{\hspace{1em}(84)}$$
要证式（83），首先定义矩阵
$$\mathbf{W}={\mathbf{U}}_{\mathbf{A}}{\mathbf{U}}_{\mathbf{A}}^T+{\mathbf{U}}_{{\mathbf{A}}^{\perp }}{\mathbf{W}}_0{\mathbf{U}}_{{\mathbf{A}}^{\perp }}^T\text{\hspace{1em}(85)}$$

可以证明$\mathbf{W}$为正交阵（通过计算${\mathbf{W}}^T\mathbf{W}=I\text{I}I$，过程中有一个步骤需要类比式（74）），且可以验证：
$$\varphi ({\mathbf{W}}_0\tilde{\mathbf{V}})=\mathbf{W}\varphi (\tilde{\mathbf{V}})\text{\hspace{1em}(86)}$$

(将式（67）代入式（84）)。因此
$$p_{\tilde{\mathbf{V}}|G}({\mathbf{W}}_0\tilde{\mathbf{V}}|G)\stackrel{a}{\propto }{p}_{\mathbf{V}}\left(\varphi ({\mathbf{W}}_0\tilde{\mathbf{V}})\right)\stackrel{b}{\propto }{p}_{\mathbf{V}}\left(\mathbf{W}\varphi (\tilde{\mathbf{V}})\right)\stackrel{c}{\propto }{p}_{\mathbf{V}}\left(\varphi (\tilde{\mathbf{V}})\right)\text{\hspace{1em}(87)}$$

其中(a)由式（83）可得，（b）由式（86）可得，（c）是因为$\mathbf{V}$的正交不变性（参考式（36））。
因此，
$$\{\begin{array}{l}\text{eq.(83)}⟹p_{\tilde{\mathbf{V}}|G}(\tilde{\mathbf{V}}|G)\propto p_{\mathbf{V}}(\varphi (\tilde{\mathbf{V}}))\\ \text{eq.(87)}⟹p_{\tilde{\mathbf{V}}|G}({\mathbf{W}}_0\tilde{\mathbf{V}}|G)\propto p_{\mathbf{V}}\left(\varphi (\tilde{\mathbf{V}})\right)\end{array}\text{\hspace{1em}(88)}$$

因此式（84）成立，因此$\tilde{\mathbf{V}}$服从Haar分布。

引理5：给定维度$s\ge 0$，若$\mathbf{x}(N)$和$\mathbf{U}(N)$是序列向量和序列矩阵（关于$N$），那么，对任意$N$，给定以下三个条件：
（1）$\mathbf{U}=\mathbf{U}(N)\in {\mathbb{R}}^{N\times (N-s)}$是一个确定的矩阵，且${\mathbf{U}}^T\mathbf{U}=I\text{I}I$；
（2）$\mathbf{x}=\mathbf{x}(N)\in {\mathbb{R}}^{(N-s)}$是一个随机向量，且分布满足各向同性（isotropically distributed）。
（3）${\lim }_{N\to \infty }\frac{1}{N}{\Vert \mathbf{x}\Vert }^2=\tau$
那么，若定义$\mathbf{y}=\mathbf{U}\mathbf{x}$，则$\mathbf{y}$的每一个元素经验收敛于（Converge empirically）一个高斯随机变量，即
lim ⁡ N → ∞ { y n } = P L ( 2 ) Y ∼ N ( 0 , τ ) (89) \lim_{N \rightarrow \infty} \{ y_n \}\overset{PL(2)}{=}Y \sim \mathcal N(0, \tau) \tag{89} N→∞lim​{yn​}=PL(2)Y∼N(0,τ)(89)

证明：因为$\mathbf{x}$的分布各向同性，则我们可以用一个归一化的高斯随机变量来表征，即
$$\mathbf{x}\stackrel{d}{=}\frac{\Vert \mathbf{x}\Vert }{\Vert {\mathbf{w}}_0\Vert }{\mathbf{w}}_0,{\mathbf{w}}_0\sim \mathcal{N}(0,{I\text{I}I}_{N-s})$$

对任意$N$，构建正交阵$\mathbf{S}=[\mathbf{U}{\mathbf{U}}_{\perp }]$。令${\mathbf{w}}_1\sim \mathcal{N}(0,{I\text{I}I}_s)$，独立于${\mathbf{w}}_0$，定义
$$\mathbf{w}=\left[\begin{array}{c}{\mathbf{w}}_0\\ {\mathbf{w}}_1\end{array}\right]\sim \mathcal{N}(0,{\mathbf{I}}_N)$$
根据定义，写出$\mathbf{y}$:
$$\mathbf{y}=\mathbf{U}\mathbf{x}\stackrel{d}{=}\frac{\Vert \mathbf{x}\Vert }{\Vert {\mathbf{w}}_0\Vert }[\mathbf{S}\mathbf{w}-{\mathbf{U}}_{\perp }{\mathbf{w}}_1]\text{\hspace{1em}(90)}$$

不难得到
$$\underset{N\to \infty }{\lim }\frac{\Vert \mathbf{x}\Vert }{\Vert {\mathbf{w}}_0\Vert }=\underset{N\to \infty }{\lim }\frac{\Vert \mathbf{x}\Vert }{\sqrt{(N-s)}}=\sqrt{\tau }$$

$$\underset{N\to \infty }{\lim }\frac{1}{N-s}{\Vert {\mathbf{U}}_{\perp }{\mathbf{w}}_1\Vert }^2=\underset{N\to \infty }{\lim }\frac{1}{N}{\Vert {\mathbf{w}}_1\Vert }^2=0$$