摘要

本文将介绍卡方分布的定义及相关性质，以及卡方分布与正态分布的关系。

${\chi }^2$分布 (卡方分布) 的定义

$gamma$ 分布

首先，${\chi }^2$分布是一种特殊的 $gamma$ 分布。所以在看卡方分布的定义及性质之前，我们先来看 Gamma 分布的定义。

$gamma$ 分布由两个参数 $\alpha$ 和 $\beta$ 决定。$gamma(\alpha ,\beta )$ 的概率密度函数 (pdf) 为：
$$f(x|\alpha ,\beta )=\frac{1}{\Gamma (\alpha ){\beta }^{\alpha }}{x}^{\alpha -1}{e}^{-x/\beta },0<x<\infty ,\alpha >0,\beta >0\text{\hspace{1em}(1)}$$
其中 $\Gamma (x)$ 是 gamma 函数，$\Gamma (\alpha )={\int }_0^{\infty }{t}^{\alpha -1}{e}^{-t}dt$。

在 $gamma(\alpha ,\beta )$ 分布中，如果我们令 $\alpha =p/2,\beta =2$，那么我们就得到了自由度为 $p$ 的 ${\chi }^2$ 分布，记为 ${\chi }_p^2$ 分布。

$gamma$ 分布的期望、方差及距生成函数

在看卡方分布的性质之前，我们先看一下 $gamma$ 分布的性质。

假设 $X\sim gamma(\alpha ,\beta )$，那么我们有
$$\mathbb{E}(X)=\alpha \beta ,\text{Var}(X)=\alpha {\beta }^2$$
证明过程可参见 [1]。我们在附录中给出 $\text{Var}(X)=\alpha {\beta }^2$ 的证明。

$gamma$ 分布的距生成函数 (moment-generating function, mgf) 为
$$M_X(t)=\mathbb{E}(e^{tx})=(\frac{1}{1-\beta t}{)}^{\alpha },t<\frac{1}{\beta }$$。

其证明过程可参见 Casella Example 2.3.8。

另外，根据 Casella Theorem 4.6.7，我们知道如果
$$X_1\sim gamma({\alpha }_1,\beta ),X_1\sim gamma({\alpha }_2,\beta ),\cdots ,X_n\sim gamma({\alpha }_n,\beta )$$，
且 $X_i$ 是独立的，那么
$$X_1+X_2+\cdots X_n\sim gamma({\alpha }_1+{\alpha }_2+\cdots +{\alpha }_n,\beta )$$
即 $n$ 个独立的有相同 $\beta$ 参数的 $gamma$ 分布的和仍然是一个 $gamma$ 分布。

${\chi }^2$分布的 pdf

把 $\alpha =p/2,\beta =2$ 代入 $gamma(\alpha ,\beta )$ 的 pdf，我们有
$$f(x|p)=\frac{1}{\Gamma (p/2)2^{p/2}}{x}^{\frac{p}{2}-1}{e}^{-x/2},0<x<\infty \text{\hspace{1em}(2)}$$
这便是 ${\chi }_p^2$ 分布的概率密度函数。

${\chi }^2$分布的性质

由于 ${\chi }_p^2$ 分布是 $\alpha =p/2$, $\beta =2$ 的 $gamma$ 分布，故我们可以直接套用 $gamma$ 分布的期望与方差公式。
$${\mathbb{E}}_{{\chi }_p^2}(X)=p,{\text{Var}}_{{\chi }_p^2}(X)=2p$$

另外，根据独立 $gamma$ 分布的相加性的性质，我们有对于独立的 ${\chi }_p^2$ 分布 $X_i\sim {\chi }_{p_i}^2$，那么 $\sum X_i\sim {\chi }_{\sum p_i}^2$。
即 $n$ 个独立的 ${\chi }^2$ 分布的和仍然是一个 ${\chi }^2$ 分布，加和分布的自由度等于所有自由度的和。

${\chi }^2$分布与正态分布的关系

${\chi }^2$分布与正态分布有什么关系呢？

首先，如果 $Z\sim N(0,1)$，即 $Z$ 服从标准正态分布，那么 $Z^2\sim {\chi }_1^2$。即标准正态分布的平方服从自由度为 1 的卡方分布。证明过程比较直接，参见附录。

另外，我们有如下定理。

如果有 $n$ 个独立同分布的正态分布 $X_i\sim N(\mu ,{\sigma }^2),i=1,2,\cdots ,n$。样本方差为 $S^2=\frac{1}{n-1}\sum _{i=1}^n(X_i-\bar{X}{)}^2$。那么 $(n-1)S^2/{\sigma }^2$ 服从自由度为 $n-1$ 的 ${\chi }^2$分布。

这个结论的证明可见 Casella Theorem 5.3.1。

scipy 中的函数

scipy 中 chi2 可以用来产生 ${\chi }^2$分布的各种相关函数。

• pdf(x, df, loc=0, scale=1) 是自由度为 df 的${\chi }^2$分布的 pdf；
• rvs(df, loc=0, scale=1, size=1, random_state=None) 可以生成 size 个服从自由度为 df 的 ${\chi }^2$分布的随机数；
• cdf(x, df, loc=0, scale=1) 是自由度为 df 的${\chi }^2$分布的 cdf；
• ppf(q, df, loc=0, scale=1) 是自由度为 df 的${\chi }^2$分布的分位数。

附录

$gamma$ 分布的方差公式。

假设 $X\sim gamma(\alpha ,\beta )$。这里我们假设已经证明了 $\mathbb{E}(X)=\alpha \beta$。我们计算 $\mathbb{E}(X^2)$。

$$\begin{array}{rl}\mathbb{E}(X^2)& ={\int }_0^{\infty }{x}^2\frac{1}{\Gamma (\alpha ){\beta }^{\alpha }}{x}^{\alpha -1}{e}^{-x/\beta }dx\\ & =\frac{1}{\Gamma (\alpha ){\beta }^{\alpha }}{\int }_0^{\infty }{x}^{\alpha +1}{e}^{-x/\beta }dx\end{array}$$
因为我们知道 ${\int }_0^{\infty }{x}^{\alpha -1}{e}^{-x/\beta }dx=\Gamma (\alpha ){\beta }^{\alpha }$ （根据 pdf 积分为1 可知），所以我们有 ${\int }_0^{\infty }{x}^{\alpha +1}{e}^{-x/\beta }dx=\Gamma (\alpha +2){\beta }^{\alpha +2}=(\alpha +1)\Gamma (\alpha +1){\beta }^{\alpha +2}=\alpha (\alpha +1)\Gamma (\alpha ){\beta }^{\alpha +2}$。故 $\mathbb{E}(X^2)=\alpha (\alpha +1){\beta }^2$。

于是，
$\begin{array}{rl}\text{Var}(X)& =\mathbb{E}(X^2)-(\mathbb{E}(X){)}^2\\ & =\alpha (\alpha +1){\beta }^2-(\alpha \beta {)}^2\\ & =\alpha {\beta }^2\end{array}$。

标准正态分布的平方

假设 $X\sim N(0,1)$，$Y=X^2$。我们要求出 $Y$ 的分布。我们计算 $F(k)=P(Y\le k),k>0$。求出累积分布函数 $F(k)$ 之后，我们可以对 $F(k)$ 求导，来求出 $Y$ 的概率密度函数。

$$\begin{array}{rl}F(k)=P(Y\le k)& =P(-\sqrt{k}\le X\le \sqrt{k})\\ & ={\int }_{-\sqrt{k}}^{\sqrt{k}}\frac{1}{\sqrt{2\pi }}{e}^{-x^2/2}dx\\ & ={\int }_{-\infty }^{\sqrt{k}}\frac{1}{\sqrt{2\pi }}{e}^{-x^2/2}dx-{\int }_{-\infty }^{-\sqrt{k}}\frac{1}{\sqrt{2\pi }}{e}^{-x^2/2}dx\end{array}$$
对 $F(k)$ 求导，我们有
$$\begin{array}{rl}\frac{d}{dk}F(k)& =\frac{1}{\sqrt{2\pi }}{e}^{-(\sqrt{k}{)}^2/2}\frac{d}{dk}(\sqrt{k})-\frac{1}{\sqrt{2\pi }}{e}^{-(-\sqrt{k}{)}^2/2}\frac{d}{dk}(-\sqrt{k})\\ & =\frac{1}{\sqrt{2\pi }}{e}^{-\frac{k}{2}}\frac{1}{\sqrt{k}}\end{array}$$

这正是
$$f(x|p)=\frac{1}{\Gamma (p/2)2^{p/2}}{x}^{\frac{p}{2}-1}{e}^{-x/2},0<x<\infty$$
当 $p=1$ 时卡方分布 pdf 的表达式。

于是，$Y\sim {\chi }_1^2$。

参考文献

[1] George Casella, Roger L. Berger, Statistical inference, Chapter 3.3