实高斯随机向量与复高斯随机向量

本文内容主要来自David Tse etc., Fundamentals of Wireless Communication，Cambridge University Press, 2004中的附录A。文章目录1、实高斯随机向量2、复高斯随机向量1、实高斯随机向量若w1,w2,…,wnw_1,w_2,\ldots,w_nw1,w2,…,wn为i.i.d.标准高斯分布随机变量，则标准...

tanghonghanhaoli

13053人浏览 · 2019-04-22 11:20:08

tanghonghanhaoli · 2019-04-22 11:20:08 发布

本文内容主要来自David Tse etc., Fundamentals of Wireless Communication，Cambridge University Press, 2004中的附录A。

文章目录

- - - 1、实高斯随机向量
    - 2、复高斯随机向量

1、实高斯随机向量

若 $w_1,w_2,\ldots,w_n$ 为i.i.d.标准高斯分布随机变量，则标准高斯分布向量 ${\bf w}=[w_1,w_2,\ldots,w_n]^{\rm T}$ 的概率密度函数为
$p({\bf w})=\frac{1}{(\sqrt{2\pi})^n}\exp(-\frac{||{\bf w}||^2}{2}),\qquad {\bf w}\in {\mathbb R}^n.$ 这里 $||{\bf w}||=\sqrt{\sum_{i=1}^{n}w_i^2}$ 表示从原点到 ${\bf w}:=[w_1,w_2,\ldots,w_n]^{\rm T}$ 的距离。不难发现，这里的概率密度函数只与幅度有关。
进一步，由于正交变换 ${\bf O}$ 【即 ${\bf O}{\bf O}^{\rm T}={\bf O}^{\rm T}{\bf O}={\bf I}$ 】不改变信号幅度，可得如下结论

如果 $\bf w$ 为标准高斯随机向量，则 $\bf OW$ 也为标准高斯分布随机变量。

上述结果表明 $\bf w$ 在任何正态基上都具有相同分布。从几何上看， $\bf w$ 的分布不随旋转和反射改变，因此 $\bf w$ 不偏好任何特定方向。此外，由于矩阵 $\bf O$ 的行是标准正交的，标准高斯随机向量在正交方向上的投影是独立的。 $||{\bf w}||^2$ 等于 $n$ 个i.i.d.零均值高斯随机变量的平方和，称为具有 $n$ 个自由度的卡方分布，用 $\chi_{n}^2$ 表示。

高斯分布随机向量可以看作标准高斯分布随机向量的线性变换，加上常数向量，即
$\bf x=Aw+\bm \mu.$ 几个性质如下：
1）对于任意的 ${\bf c}\in {\mathbb R}^n$ ，都有随机变量
${\bf c}^{\rm T}{\bf x}\sim {\mathcal N}({\bf c}^{\rm T}{\bm \mu},{\bf c}^{\rm T}{\bf A}{\bf A}^{\rm T}{\bf c}).$ 因此，高斯随机向量（ ${\bf x}$ ）中元素的任意线性组合都为高斯随机变量（ ${\bf c}^{\rm T}{\bf x}$ ）。更一般来说，高斯随机向量的任意线性组合也是高斯的。
2) 如果 $\bf A$ 可逆，则对于 ${\bf x}={\bf Aw+\bm \mu}$ ，其中 ${\bf w}\sim \mathcal{N}({\bf 0},{\bf 1})$ ，有PDF为
$p({\bf x})=\frac{1}{(\sqrt{2\pi})^n\sqrt{\det({\bf AA}^{\rm T})}}\exp {\large(} -\frac{1}{2}({\bf x}-{\bm \mu})^{\rm T}({\bf AA}^{\rm T})^{-1}({\bf x}-{\bm \mu}){\large)},\quad {\bf x}\in \mathbb{R}^n.$ 这里的 ${\bf AA}^{\rm T}$ 为 $\bf x$ 的协方差矩阵：
${\bf K}:=\mathbb{E}{\large [} ({\bf x}-{\bm \mu}) ({\bf x}-{\bm \mu})^{\rm T} {\large ]}={\bf AA}^{\rm T}$ 对于可逆矩阵 $\bf A$ ，高斯随机向量可以完全由其均值向量 $\bm \mu$ 和协方差矩阵 ${\bf K}={\bf AA}^{\rm T}$ 来刻画，这里的 $\bf K$ 为对称且非负定矩阵。我们再来看几个推导：

由于 $\bf Ow$ 与 $\bf w$ 同分布，因此 $A\bf Ow$ 与 $\bf Aw$ 同分布。
如果 $\bf K$ 为对角阵，则高斯随机向量中的元素统计独立（不相关）。这样的随机向量也称为白高斯随机向量。当协方差矩阵 $\bf K$ 为单位阵时，则该高斯随机向量为标准高斯随机向量。
现在考虑 $\bf A$ 不可逆的情况。此时， $\bf Aw$ 将标准高斯随机向量 $\bf w$ 映射到维度小于 $n$ 的子空间上。这意味着 $\bf Aw$ 中的一些成分可以表示为其它部分的线性组合。这样我们可以只关注 $\bf Aw$ 中线性独立的元素，将其表示为具有更低维度的向量 $\bf \tilde{x}$ ，同时将 $\bf Aw$ 中的其它元素表示为 $\bf \tilde{x}$ 的线性组合。这样，我们可以使得协方差矩阵 $\bf K$ 可逆。

通常来说，高斯随机向量可以由其均值向量 $\bm \mu$ 和协方差矩阵 $\bf K$ 来完全刻画，我们表示为 ${\bf x}\sim \mathcal{N}({\bm \mu}, {\bf K})$ 。

2、复高斯随机向量

下面我们来考虑复随机向量 ${\bf x}={\bf x}_R+{\bf x}_I$ 。如果向量 $[{\bf x}_R,{\bf x}_I]^{\rm T}$ 为实高斯随机向量，则 ${\bf x}$ 为复高斯向量。分布完全由实向量 $[{\bf x}_R, {\bf x}_I]^{\rm T}$ 的均值和协方差矩阵来决定。可以证明，同样的信息包含在 $\bf x$ 的均值向量 $\bm \mu$ 、协方差矩阵 $\bf K$ 以及伪协方差矩阵 $\bf J$ 中，即
$\bm \mu:={\mathbb E}[\bf x]$ ${\bf K}:={\mathbb E} {\large [ } (\bf x-\bm \mu)(x-\mu)^{*} {\large]}$ $\bf J:={\mathbb E} {\large [} (\bf x-\bm \mu)(x-\mu)^{\rm T} {\large]}.$ 注意通常来说，复随机向量 $\bf x$ 的协方差矩阵 $\bf K$ 是不能完全刻画其二阶统计特性的。事实上，由于 $\bf K$ 为Hermitian矩阵（复共轭对称矩阵），则它是由 $n^2$ 个实参数来决定的。另外一方面， $\bf x$ 的全部二阶统计量是由 $2n \times 2n$ 维的协方差矩阵 $[{\bf x}_R,{\bf x}_I]^{\rm T}$ 中的 $n (2 n + 1)$ 个实参数决定的。

循环对称特性：如果对于任意 $\theta$ ， $e^{j\theta}\bf x$ 都与 $\bf x$ $\bf x$ 同分布，则称$\bf $具有循环对称性。

对于任意 $\theta$ ，循环对称复随机变量 $\bf x$ 都有
${\mathbb E}[{\bf x}]={\mathbb E}[e^{j\theta}{\bf x}]=e^{j\theta}{\mathbb E}[{\bf x}],$ 因此均值 $\bm \mu=\bf 0$ 。进一步，对于任意 $\theta$ ，有
${\mathbb E}[{\bf xx}^{\rm T}]={\mathbb E}[e^{j\theta}{\bf x}(e^{j\theta}{\bf x})^{\rm T}]=e^{j2\theta}{\mathbb E}[{\bf xx}^{\rm T}],$ 因此伪协方差矩阵 $\bf J$ 也为零。故协方差矩阵 $\bf K$ 可以完全刻画循环对称随机向量的一阶和二阶统计特性。并且如果随机向量为高斯的，则 $\bf K$ 可以刻画所有统计特性。协方差矩阵为 $\bf K$ 的循环对称高斯随机向量记为 ${\mathcal CN}(0,\bf K)$ 。
下面来看几个特例：

复高斯随机变量 $w=w_R+jw_I$ ，这里的实部和虚部为.零均值高斯i.i.d实随机变量，则 $w$ 为循环对称，而其循环对称性其实就是实高斯随机向量 $[w_R,w_I]^{\rm T}$ 的旋转不变形。事实上，循环对称复高斯随机变量的实部和虚部一定是零均值i.i.d.的。其统计特性可以完全由方差 $\sigma^2:={\mathbb E}[|w|^2]$ 来决定，记为 $w\sim {\mathcal CN}(0,\sigma^2)$ 。注意如果不是循环对称的，则复高斯随机变量需要用五个参数来给定：实部均值、虚部均值、实部方差、虚部方差以及虚实部相关。 $w$ 的相位在 $[0,2\pi]$ 上均匀分布，并与幅度 $r = ∣ ∣ w ∣ ∣$ 独立，后者的PDF为
$P(r)=\frac{r}{\sigma^2}\exp{\Large \{} \frac{-r^2}{2\sigma^2}{\Large \}},\quad r\ge 0$ 满足瑞利分布。幅度的平方，即 $r^2=w_R^2+w_I^2$ ，满足 $\chi_x^2$ 分布即指数分布。
$n$ 个i.i.d. ${\mathcal CN}(0,1)$ 随机变量构成标准循环对称高斯随机向量 ${\bf w}\sim {\mathcal CN}(0,\bf{I})$ ，其PDF为
$P({\bf w})=\frac{1}{\pi^n}\exp (-||{\bf w}||^2),\quad {\bf w}\in {\mathbb C}^n.$ 与实高斯随机向量 ${\mathcal N}(0,{\bf I})$ 类似，我们有如下特性特性

$\bf Uw$ 与 $\bf w$ 同分布，这里的 $\bf U$ 为酉矩阵。

与实数情况相似， $\bf w$ 的幅度满足 $\chi_{2n}^2$ 分布。

如果 ${\bf w}\sim {\mathcal CN}(0,\bf I)$ 并且 $\bf A$ 为复矩阵，则 $\bf x=Aw$ 也是循环对称高斯的，且 ${\bf x}\sim {\mathcal CN}(0,\bf K)$ 。如果 $\bf A$ 可逆，则 $\bf x$ 的PDF为
$p({\bf x})=\frac{1}{\pi^n \sqrt{\det {\bf K}}}\exp(-\bf x^*K^{-1}x),\quad x\in \mathbb C^n.$