高阶统计量部分

$X_1,X_2,\cdots ,X_n$ 是从总体 $X$ 中抽取的容量为 $n$ 的一个样本，如果由此样本构造一个函数 $T(X_1,X_2,\cdots ,X_n)$，不依赖于任何未知参数，则称函数 $T(X_1,X_2,\cdots ,X_n)$ 是一个统计量。
通常，又称函数 $T(X_1,X_2,\cdots ,X_n)$ 为样本统计量。当获取样本的一组具体观测值 $x_1,x_2,\cdots ,x_n$ 时，代入 $T$，计算出 $T(X_1,X_2,\cdots ,X_n)$ 的数值，就获得了一个具体的统计量值。

在阵列信号处理中，高阶统计量是一种很好的信号处理工具。下面简要介绍高阶统计量的定义及其特性。

1. 高阶矩、累积量

高阶统计量通常包括高阶累积量和高阶矩以及它们相应的谱（高阶累积量谱和高阶矩谱）这 4 种主要统计量。它们都描述了随机过程的数字特征。

对于随机变量 $x$，其概率密度函数为 $f(x)$，其第一特征函数和第二特征函数分别为
$$\begin{array}{rl}\Phi (w)& =\mathbb{E}\left\{e^{jwx}\right\}={\int }_{-\infty }^{\infty }f(x)e^{jwx}dx\\ \Psi (w)& =\ln \Phi (w)\end{array}$$
第一特征函数也叫矩生成函数，第二特征函数也叫累积量生成函数。在这里先求出矩生成函数的 $k$ 阶导数：
$$\begin{array}{rl}{\Phi }^k(w)& =\frac{{\partial }^k\Phi (w)}{\partial w^k}\\ & =(jx{)}^k{\int }_{-\infty }^{\infty }f(x)e^{jwx}dx\\ & =j^k{\int }_{-\infty }^{\infty }{x}^{k}f(x)e^{jwx}dx\\ & =j^k\mathbb{E}\left(x^k{e}^{jwx}\right)\end{array}$$
于是定义其矩函数为：
$$\begin{array}{rl}{m}_k& =\mathbb{E}(x^k)={\int }_{-\infty }^{\infty }{x}^{k}f(x)e^{j0x}dx\\ & =(-j{)}^k\left[j^k{\int }_{-\infty }^{\infty }{x}^{k}f(x)e^{j0x}dx\right]\\ & =(-j{)}^k{\Phi }^k(0)\end{array}$$
以上可知 $m_1=\mathbb{E}(x)$。以此类推，可得到累积量函数：
$$c_k=(-j{)}^k{\Psi }^k(0)$$
对第一特征函数和第二特征函数分别进行泰勒级数展开，有
$$\begin{array}{rl}\Phi (w)& =\Phi (0)+\sum _{k=1}^n\frac{m_k}{k!}(jw{)}^k+\mathcal{O}(w^n)\\ & =1+\sum _{k=1}^n\frac{m_k}{k!}(jw{)}^k+\mathcal{O}(w^n)\\ & =1+\sum _{k=1}^{\infty }\frac{m_k}{k!}(jw{)}^k\\ \Psi (w)& =\Psi (0)+\sum _{k=1}^n\frac{c_k}{k!}(jw{)}^k+\mathcal{O}(w^n)\\ & =\sum _{k=1}^n\frac{c_k}{k!}(jw{)}^k+\mathcal{O}(w^n)\\ & =\sum _{k=1}^{\infty }\frac{c_k}{k!}(jw{)}^k\end{array}$$
由 $\exp \left(\Psi (w)\right)=\Phi (w)$ 可知，有以下关系
$$\begin{array}{rl}\Phi (w)& =1+\sum _{k=1}^{\infty }\frac{m_k}{k!}(jw{)}^k\\ & =\exp \left(\Psi (w)\right)\\ & =\exp \left(\sum _{k=1}^{\infty }\frac{c_k}{k!}(jw{)}^k\right)\end{array}$$
幂级数展开公式 $e^t=1+t+\frac{t^2}{2!}+\cdots +\frac{t^m}{m!}+\cdots$，可知
$$\begin{array}{rl}\Phi (w)& =1+\sum _{k=1}^{\infty }\frac{m_k}{k!}(jw{)}^k\\ & =\exp \left(\sum _{k=1}^{\infty }\frac{c_k}{k!}(jw{)}^k\right)\\ & =1+\left(\sum _{k=1}^{\infty }\frac{c_k}{k!}(jw{)}^k\right)+\frac{1}{2!}{\left(\sum _{k=1}^{\infty }\frac{c_k}{k!}(jw{)}^k\right)}^2+\cdots +\frac{1}{m!}{\left(\sum _{k=1}^{\infty }\frac{c_k}{k!}(jw{)}^k\right)}^m+\cdots \end{array}$$

比较上式中各 $(jw{)}^k$ 同幂项系数，可得 $k$ 阶累积量与 $k$ 阶矩的转化关系如下：

$$\begin{array}{rl}{c}_1& =m_1={\mu }_1\\ c_2& =m_2-c_1^2=m_2-m_1^2={\mu }_2\\ c_3& =m_3-3c_1{c}_2-c_1^2=m_3-3m_1{m}_2+2m_1^3={\mu }_3\\ c_4& =m_4-4c_1{c}_3-3c_2^2-6c_1^2{c}_2-c_1^4\\ & =m_4-4m_1{m}_3-3m_2^2+12m_1^2{m}_2-6m_1^4\ne {\mu }_4\end{array}$$
上述公式叫做 M-C 公式，其中 ${\mu }_i$ 是中心矩。若随机变量 $x$ 均值为 0，则
$$\begin{array}{rl}{c}_1& =m_1\\ c_2& =m_2\\ c_3& =m_3\\ c_4& =m_4-3m_2^2\ne m_4\end{array}$$
对于 $n$ 维随机变量 $X={\left[x_1,x_2,\cdots ,x_n\right]}^T$，定义其第一特征函数为
$$\Phi (w_1,w_2,\cdots ,w_n)=\mathbb{E}\left\{e^{j\left(w_1{x}_1+w_2{x}_2+\cdots +w_n{x}_n\right)}\right\}$$
其第二特征函数为
$$\Psi (w_1,w_2,\cdots ,w_n)=\ln \left(\Phi (w_1,w_2,\cdots ,w_n)\right)$$
则随机变量 $X={\left[x_1,x_2,\cdots ,x_n\right]}^T$ 的 $r=k_1+\cdots +k_n$ 阶累积量 $C_{k_1,\cdots ,k_n}$ 和 $r=k_1+\cdots +k_n$ 阶矩 $m_{k_1,\cdots ,k_n}$ 分别为
$$\begin{array}{rl}{C}_{k_1,\cdots ,k_n}& =(-j{)}^r\frac{{\partial }^r\Psi (w_1,w_2,\cdots ,w_n)}{\partial w_1^{k_1}\partial w_2^{k_2}\cdots \partial w_n^{k_n}}{|}_{w_i=0}\\ m_{k_1,\cdots ,k_n}& =(-j{)}^r\frac{{\partial }^r\Phi (w_1,w_2,\cdots ,w_n)}{\partial w_1^{k_1}\partial w_2^{k_2}\cdots \partial w_n^{k_n}}{|}_{w_i=0}\end{array}$$

在这里我们用 $\text{cum}(\cdot )$ 表示联合累计量，用 $\text{mom}(\cdot )$ 表示联合矩。联合累积量 $C_{k_1{k}_2\cdots k_n}$ 可用联合矩 $m_{k_1{k}_2\cdots k_n}$ 的多项式来表示，但其一般表达式相当复杂，这里不加详述。仅给出二阶、三阶和四阶联合累积量与其对应阶次的联合矩之间的关系。 设 $x_1,x_2,x_3,x_4$ 均为零均值随机变量，则
$$\begin{array}{rl}{c}_{11}& =\text{cum}(x_1,x_2)=\mathbb{E}(x_1{x}_2)\\ c_{111}& =\text{cum}(x_1,x_2,x_3)=\mathbb{E}(x_1{x}_2{x}_3)\\ c_{1111}& =\text{cum}(x_1,x_2,x_3,x_4)\\ & =\mathbb{E}(x_1{x}_2{x}_3{x}_4)-\mathbb{E}(x_1{x}_2)\mathbb{E}(x_3{x}_4)-\mathbb{E}(x_1{x}_3)\mathbb{E}(x_2{x}_4)-\mathbb{E}(x_1{x}_4)\mathbb{E}(x_2{x}_3)\end{array}$$

2. 高阶谱

对于零均值平稳随机过程 {x(n)}\{x(n)\}{x(n)}，其 $k$ 阶累积量与 $k$ 阶矩为
$$\begin{array}{rl}{c}_{kx}({\tau }_1,\cdots ,{\tau }_{k-1})& =\text{cum}\left[x(n),x(n+{\tau }_1),\cdots ,x(n+{\tau }_{k-1})\right]\\ m_{kx}({\tau }_1,\cdots ,{\tau }_{k-1})& =\text{mom}\left[x(n),x(n+{\tau }_1),\cdots ,x(n+{\tau }_{k-1})\right]\\ & =\mathbb{E}\left[x(n)x(n+{\tau }_1)\cdots x(n+{\tau }_{k-1})\right]\end{array}$$
当 ${\tau }_i$ 为 0 时，特别的称 $c_{2x}(0)={\sigma }^2=r_2^x$ 为方差，$c_{3x}(0,0)=r_3^x$ 为斜度，$c_{4x}(0,0,0)=r_4^x$ 为峭度。

mean, 均值

standard deviation, 方差

skewness, 斜度

kurtosis, 峭度

2.1 累积量谱

有如下定义：设高阶累积量 $c_{kx}({\tau }_1,\cdots ,{\tau }_{k-1})$ 绝对可和
$$\sum _{{\tau }_1=-\infty }^{\infty }\cdots \sum _{{\tau }_{k-1}=-\infty }^{\infty }|c_{kx}({\tau }_1,\cdots ,{\tau }_{k-1})|<\infty$$
则其 $k$ 阶累积量谱定义为 $k$ 阶累积量的 $k-1$ 维傅里叶变换，即
$$S_{kx}(w_1,w_2,\cdots ,w_{k-1})=\sum _{{\tau }_1=-\infty }^{\infty }\cdots \sum _{{\tau }_{k-1}=-\infty }^{\infty }{c}_{kx}({\tau }_1,\cdots ,{\tau }_{k-1})\exp (-j\sum _{i=1}^{k-1}{w}_i{\tau }_i)$$
高阶累积量谱常简称作高阶谱或多谱。最常用的高阶谱是三阶谱 $S_{3x}(w_1,w_2)$ 和四阶谱 $S_{4x}(w_1,w_2,w_3)$，我们又把三阶谱称双谱，四阶谱称三谱。

2.2 矩谱

有如下定义：设高阶矩 $m_{kx}({\tau }_1,\cdots ,{\tau }_{k-1})$ 绝对可和
$$\sum _{{\tau }_1=-\infty }^{\infty }\cdots \sum _{{\tau }_{k-1}=-\infty }^{\infty }|m_{kx}({\tau }_1,\cdots ,{\tau }_{k-1})|<\infty$$
则其 $k$ 阶矩谱定义为 $k$ 阶矩的 $k-1$ 维傅里叶变换，即
$$M_{kx}(w_1,w_2,\cdots ,w_{k-1})=\sum _{{\tau }_1=-\infty }^{\infty }\cdots \sum _{{\tau }_{k-1}=-\infty }^{\infty }{m}_{kx}({\tau }_1,\cdots ,{\tau }_{k-1})\exp (-j\sum _{i=1}^{k-1}{w}_i{\tau }_i)$$

3. 累积量性质

• 线性

$$\text{cum}\left[{\lambda }_1{x}_1,\cdots ,{\lambda }_k{x}_k\right]=\left(\prod _{i=1}^k{\lambda }_i\right)\text{cum}\left[x_1,\cdots ,x_k\right]$$

• 对称性

$$\text{cum}\left[x_1,\cdots ,x_n\right]=\text{cum}\left[x_{i_1},\cdots ,x_{i_n}\right]$$

其中，$x_{i_1},\cdots ,x_{i_n}$ 是 $1,2,\cdots ,n$ 的任意组合。

• 可加性

$$\text{cum}\left[y+z,x_1,\cdots ,x_k\right]=\text{cum}\left[y,x_1,\cdots ,x_k\right]+\text{cum}\left[z,x_1,\cdots ,x_k\right]$$

• 常数 $\alpha$

$$\text{cum}\left[\alpha +x_1,\cdots ,x_k\right]=\text{cum}\left[x_1,\cdots ,x_k\right]$$

• 当 $n$ 维随机变量 $(x_1,\cdots ,x_n)$ 和 $(y_1,\cdots ,y_n)$ 统计独立，则

$$\text{cum}\left[x_1+y_1,\cdots ,x_n+y_n\right]=\text{cum}\left[x_1,\cdots ,x_n\right]+\text{cum}\left[y_1,\cdots ,y_n\right]$$

• 当随机变量 $(x_1,\cdots ,x_m)$ 和 $(y_1,\cdots ,y_n)$ 统计独立，则

$$\text{cum}\left[x_1,\cdots ,x_m,y_1,\cdots ,y_n\right]=0$$

3. 高斯随机过程的累积量

考虑 $n$ 高斯随机矢量 $X={\left[x_1,x_2,\cdots ,x_n\right]}^T$，设其均值矢量为 $\mathbf{a}={\left[a_1,a_2,\cdots ,a_n\right]}^T$。协方差矩阵是
$$R=\left[\begin{array}{cccc}{r}_{11}& r_{12}& \cdots & r_{1n}\\ r_{21}& r_{22}& \cdots & r_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ r_{n1}& r_{n2}& \cdots & r_{nn}\end{array}\right]$$
其中满足 $r_{i,j}=\mathbb{E}\left[(x_i-a_i)(x_j-a_j)\right]$。$n$ 维高斯随机变量 $X$ 的联合概率密度函数为
f(X)=1(2π)n/2R1/2exp⁡{−12(X−a)TR−1(X−a)} f(X) = \frac{1}{(2\pi)^{n/2}R^{1/2}} \exp\{-\frac{1}{2}(X-\boldsymbol{a})^TR^{-1}(X-\boldsymbol{a})\} f(X)=(2π)n/2R1/21​exp{−21​(X−a)TR−1(X−a)}
于是可以得到 $X$ 的两个联合特征函数
$$\begin{array}{rl}\Phi (\mathbf{w})& =\exp (j{\mathbf{a}}^T\mathbf{w}-\frac{1}{2}{\mathbf{w}}^{T}R\mathbf{w})\\ \Psi (\mathbf{w})& =\ln \Phi (\mathbf{w})\\ & =j{\mathbf{a}}^T\mathbf{w}-\frac{1}{2}{\mathbf{w}}^{T}R\mathbf{w}\\ & =j\sum _{i=1}^n{a}_i{w}_i-\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{r}_{ij}{w}_i{w}_j\end{array}$$
其中 $\mathbf{w}={\left[w_1,w_2,\cdots ,w_n\right]}^T$。 可以看出，$\Psi (\mathbf{w})$ 是关于 $w_i$ 的二次多项式。则由此得到 $X$ 的 $r$ 阶累积量
$$C_{k_1,\cdots ,k_n}=(-j{)}^r\frac{{\partial }^r\Psi (w_1,w_2,\cdots ,w_n)}{\partial w_1^{k_1}\partial w_2^{k_2}\cdots \partial w_n^{k_n}}{|}_{w_i=0}$$
因而 $\Psi (\mathbf{w})$ 关于自变量的三阶及更高阶的偏导数等于零，则的三阶及三阶以上的累积量等于零。

由于高斯过程的高阶累积量（当阶数大于 2 时）等于零，而对于非高斯过程，至少存在着某个大于 2 的阶次 累积量不等于零。因此，利用高阶累积量可以自动地抑制高斯背景噪声的影响，建立高斯噪声下的非高斯信号模型，提取高斯噪声中的非高斯信号。正因为这样，高阶累积量这一统计量已日益受到人们的重视并已成为信号处理中一种非常有用的工具。