概率论基础 - 7 - 特征函数

特征函数是随机变量的分布的不同表示形式。概述一般而言，对于随机变量XXX的分布，大家习惯用概率密度函数来描述，虽然概率密度函数理解起来很直观，但是确实随机变量的分布还有另外的描述方式，比如特征函数。特征函数的本质是概率密度函数的泰勒展开每一个级数表示原始概率密度函数的一个特征如果两个分布的所有特征都相同，那我们就认为这是两个相同的分布矩是描述概率分布的重要特征，期望、方差等概念都是矩的特殊形态直觉

苍蓝儿

12198人浏览 · 2021-08-21 15:55:28

苍蓝儿 · 2021-08-21 15:55:28 发布

特征函数是随机变量的分布的不同表示形式。

概述

一般而言，对于随机变量 $X$ 的分布，大家习惯用概率密度函数来描述，虽然概率密度函数理解起来很直观，但是确实随机变量的分布还有另外的描述方式，比如特征函数。

特征函数的本质是概率密度函数的泰勒展开
每一个级数表示原始概率密度函数的一个特征
如果两个分布的所有特征都相同，那我们就认为这是两个相同的分布
矩是描述概率分布的重要特征，期望、方差等概念都是矩的特殊形态
直觉上可以简单理解为：
- 各阶矩相等 → 各个特征相等 → 分布相同

定义

随机变量 $X$ 的特征函数定义为：

$\varphi_{X}(t)=E\left[e^{i t X}\right]$

针对概率密度函数为 $f (x)$ 的连续随机变量 $x$ ，特征函数写作：

{%raw%}
$\varphi_x(t)=\int_{-\infty}^{\infty} e^{i t x} f(x) \cdot d x$
{%endraw%}

为什么这么定义呢? 首先, $e^{i t X}$ 的泰勒级数为:

$e^{i t X}=1+\frac{i t X}{1}-\frac{t^{2} X^{2}}{2 !}+\cdots+\frac{(i t)^{n} X^{n}}{n !}$

代入可以推出：

$\begin{aligned} \varphi_{X}(t) &=E\left[e^{i t X}\right] \\ &=E\left(1+\frac{i t X}{1}-\frac{t^{2} X^{2}}{2 !}+\cdots+\frac{(i t)^{n} X^{n}}{n !}\right) \\ &=E(1)+E\left(\frac{i t X}{1}\right)-E\left(\frac{t^{2} X^{2}}{2 !}\right)+\cdots+E\left(\frac{(i t)^{n} X^{n}}{n !}\right) \\ &=1+\frac{i t \overbrace{E[X]}^{\text {一阶矩 }}}{1}-\frac{t^{2} \overbrace{E\left[X^{2}\right]}^{\text {二阶矩 }}}{2 !}+\cdots+\frac{(i t)^{n} \overbrace{E\left[X^{n}\right]}^{\text {n阶矩 }}}{n !} \end{aligned}$

也就是说特征函数包含了分布函数的所有矩，可以理解为包含了分布的所有特征
之前的结论可以进一步理解为：
- $\varphi_{X}(t) $相等 → 各阶矩相等 → 各个特征相等 → 分布相同
所以，特征函数其实是随机变量 $X$ 的分布的另外一种描述方式

一些推论

设随机变量 $X$ 的概率密度函数为 $f (x)$ ，其特征函数为：

$\varphi_x(t)=\int_{-\infty}^{\infty} e^{i t x} f(x) \cdot d x$

独立变量和的特征函数

$Y=X_1+X_2 $，其中$ X_1,X_2$相互独立，特征函数：

$\begin{array}{l} \varphi_{y}(t)&=\varphi_{x_{1}+x_{2}}(t) \\ &=\iint_{-\infty}^{\infty} e^{i t\left(x_{1}+x_{2}\right)} \cdot f\left(x_{1}\right) \cdot g\left(x_{2}\right) \cdot d x_{1} d x_{2} \\ &=\int_{-\infty}^{\infty} e^{i t x_{1}} f\left(x_{1}\right) d x_{1} \cdot \int_{-\infty}^{\infty} e^{i t x_{2}} g\left(x_{2}\right) d x_{2} \\ &=\varphi_{x_{1}}(t) \cdot \varphi_{x_{2}}(t) \end{array}$

常数线性变换的特征函数

$Y = a X + b$ 的特征函数：

$\begin{array}{l} \varphi_{y}(t)&=\varphi_{a x+b}(t)=\int_{-\infty}^{\infty} e^{i t(a x+b)} f(x) d x \\ &=e^{i t b} \int_{-\infty}^{\infty} e^{i(a t) x} f(x) d x \\ &=e^{i t b} \cdot \varphi_{x}(a t) \end{array}$

标准正态分布的特征函数

设 $\sim N(0,1)$ 则其概率密度函数为：

$f(x)=\frac{1}{\sqrt{2 \pi}} e^{-\frac{x^{2}}{2}}$
{%endraw%}

特征函数为：

$\begin{array}{l} \varphi(t)&=\int_{-\infty}^{\infty} e^{i t x} \cdot \frac{1}{\sqrt{2 \pi}} e^{-\frac{x^{2}}{2}} \cdot d x \\ &=e^{-\frac{t^{2}}{2}} \int_{-\infty}^{\infty} \frac{1}{\sqrt{2 \pi}} e^{-\frac{(x-i t)^{2}}{2}} d(x-i t) \\ &=e^{-\frac{t^{2}}{2}} \end{array}$
{%endraw%}