本文摘自《概率论与数理统计》 陈希孺著 中国科学技术大学出版社
相关链接
参数的点估计问题
极大似然估计

前言

矩估计法是点估计方法的一种，点估计法还有极大似然估计法和贝叶斯估计法。详情请参考上面的链接。

矩估计法

矩估计法是皮尔逊在19世纪末到20世纪初的一系列文章中引进的。这个方法的思想很简单：设总体分布为 f(x;θ1,⋯,θk) <script type="math/tex" id="MathJax-Element-1">f(x; \theta_1, \cdots, \theta_k)</script>，则它的矩（原点矩和中心矩都可以，此处以原点矩为例）
连续型：

αm=∫∞−∞xmf(x;θ1,⋯,θk)dx <script type="math/tex" id="MathJax-Element-2">\alpha_m = \int_{-\infty}^{\infty}x^m f(x; \theta_1, \cdots, \theta_k)d_{x}</script>

离散型：

αm=∑i=1nxif(xi;θ1,⋯,θk) <script type="math/tex" id="MathJax-Element-3">\alpha_m = \sum\limits_{i = 1}^{n}x_i f(x_i; \theta_1, \cdots, \theta_k)</script>

依赖于 θ1,⋯,θk <script type="math/tex" id="MathJax-Element-4">\theta_1, \cdots, \theta_k</script>。另一方面，至少在样本 n <script type="math/tex" id="MathJax-Element-5">n</script>较大时，αm<script type="math/tex" id="MathJax-Element-6">\alpha_m</script>又应接近于样本原点矩 am <script type="math/tex" id="MathJax-Element-7">a_m</script>。于是

αm=αm(θ1,⋯,θk)≈am=∑i=1nXmin <script type="math/tex" id="MathJax-Element-8">\alpha_m = \alpha_m(\theta_1, \cdots, \theta_k) \approx a_m = \sum\limits_{i = 1}^{n}\frac{X_i^m}{n}</script>

取 m=1,⋯,k <script type="math/tex" id="MathJax-Element-9">m = 1, \cdots, k</script>，并将上面的近似式改成等式，就得到一个方程组：

αm(θ1,⋯,θk)=am,(m=1,⋯,k) <script type="math/tex" id="MathJax-Element-10">\alpha_m(\theta_1, \cdots, \theta_k) = a_m\,, \quad (m = 1, \cdots, k)</script>

解此方程组，得其根 θi^=θi^(X1,⋯,Xn) (i=1,⋯,k) <script type="math/tex" id="MathJax-Element-11">\hat{\theta_i} = \hat{\theta_i}(X_1, \cdots, X_n)\ (i = 1, \cdots, k)</script>，就以 θi^ <script type="math/tex" id="MathJax-Element-12">\hat{\theta_i}</script>作为 θi <script type="math/tex" id="MathJax-Element-13">\theta_i</script>的估计 (i=1,⋯,k) <script type="math/tex" id="MathJax-Element-14">(i = 1, \cdots, k)</script>。如果要估计的是 θ1,⋯,θk <script type="math/tex" id="MathJax-Element-15">\theta_1, \cdots, \theta_k</script>的某个函数 g(θ1,⋯,θk) <script type="math/tex" id="MathJax-Element-16">g(\theta_1, \cdots, \theta_k)</script>，则用 ĝ (X1,⋯,Xn)=g(θ1^,⋯,θk^) <script type="math/tex" id="MathJax-Element-17">\hat{g}(X_1, \cdots, X_n) = g(\hat{\theta_1}, \cdots, \hat{\theta_k})</script>去估计它。这样定出的估计量就叫矩估计。

矩估计在各种分布中的应用

正态分布

设 X1,⋯,Xn <script type="math/tex" id="MathJax-Element-18">X_1, \cdots, X_n</script>是从正态总体 N(μ,σ2) <script type="math/tex" id="MathJax-Element-19">N(\mu, \sigma^2)</script>中抽出的样本，要估计 μ <script type="math/tex" id="MathJax-Element-20">\mu</script>和 σ2 <script type="math/tex" id="MathJax-Element-21">\sigma^2</script>。 μ <script type="math/tex" id="MathJax-Element-22">\mu</script>是总体的一阶原点矩，按矩估计，用样本的一阶原点矩即样本的均值 X⎯⎯⎯ <script type="math/tex" id="MathJax-Element-23">\overline{X}</script>去估计。 σ2 <script type="math/tex" id="MathJax-Element-24">\sigma^2</script>是总体方差，即总体的二阶中心距，可用样本的二阶的二阶中心矩 m2 <script type="math/tex" id="MathJax-Element-25">m_2</script>去估计。一般地，在估计方差时候常用样本方差 S2 <script type="math/tex" id="MathJax-Element-26">S^2</script>而不用 m2 <script type="math/tex" id="MathJax-Element-27">m_2</script>，即对矩估计做了一定的修正。
如果要估计的是标准差 σ2 <script type="math/tex" id="MathJax-Element-28">\sigma^2</script>，则由 σ=σ2‾‾‾√ <script type="math/tex" id="MathJax-Element-29">\sigma = \sqrt{\sigma^2}</script>，按矩估计法，它可以用 m2‾‾‾√ <script type="math/tex" id="MathJax-Element-30">\sqrt{m_2}</script>去估计，一般用 S2‾‾‾√=S <script type="math/tex" id="MathJax-Element-31">\sqrt{S^2} = S</script>去估计，或者还做点修正。又当 μ≠0 <script type="math/tex" id="MathJax-Element-32">\mu \ne 0</script>时，（特别在 μ>0 <script type="math/tex" id="MathJax-Element-33">\mu > 0</script>时，在有些问题中， μ <script type="math/tex" id="MathJax-Element-34">\mu</script>虽然未知，但事先可知道 μ>0 <script type="math/tex" id="MathJax-Element-35">\mu > 0</script>。比如某个班级的平均成绩，它必然会大于0，因为没有人会考负分，全班也不太可能考0分）， σ/μ <script type="math/tex" id="MathJax-Element-36">\sigma / \mu</script>称为总体的变异系数，变异系数是以均值为单位去衡量总体的标准差。在有些问题中，反映变异程度的标准差意义如何，要看总体均值 μ <script type="math/tex" id="MathJax-Element-37">\mu</script>而定。比如一大群人收入的标准差为50元，若其平均工资只有70元，则这个变异系数可算很大了；但若平均工资为850元，则这个变异程度就不算大了。所以，变异系数 σ/μ <script type="math/tex" id="MathJax-Element-38">\sigma / \mu</script>不过是一定意义上的“相对误差”，按矩估计法，为估计 σ/μ <script type="math/tex" id="MathJax-Element-39">\sigma / \mu</script>可用 m2‾‾‾√/X⎯⎯⎯ <script type="math/tex" id="MathJax-Element-40">\sqrt{m_2} / \overline{X}</script>,一般用 S/X⎯⎯⎯ <script type="math/tex" id="MathJax-Element-41">S / \overline{X}</script>。

指数分布

设 X1,⋯,Xn <script type="math/tex" id="MathJax-Element-42">X_1, \cdots, X_n</script>是从指数分布总体中抽出的样本，要估计参数 λ <script type="math/tex" id="MathJax-Element-43">\lambda</script>的倒数 1λ <script type="math/tex" id="MathJax-Element-44">\frac{1}{\lambda}</script>。根据指数分布的特点，我们知道 1λ <script type="math/tex" id="MathJax-Element-45">\frac{1}{\lambda}</script>就是总体分布的均值，故按矩估计法，就用 X⎯⎯⎯ <script type="math/tex" id="MathJax-Element-46">\overline{X}</script>去估计。如要估计的是参数 λ <script type="math/tex" id="MathJax-Element-47">\lambda</script>本身，就用 1X⎯⎯ <script type="math/tex" id="MathJax-Element-48">\frac{1}{\overline{X}}</script>去估计。
另一方面，指数分布的方差为 1λ2 <script type="math/tex" id="MathJax-Element-49">\frac{1}{\lambda^2}</script>，即 1λ=总体二阶中心矩‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾√ <script type="math/tex" id="MathJax-Element-50">\frac{1}{\lambda} = \sqrt{总体二阶中心矩}</script>。按矩估计法， 1λ <script type="math/tex" id="MathJax-Element-51">\frac{1}{\lambda}</script>也可以用 m2‾‾‾√ <script type="math/tex" id="MathJax-Element-52">\sqrt{m_2}</script>（或 S <script type="math/tex" id="MathJax-Element-53">S</script>）去估计。

均匀分布

设X1,⋯,Xn<script type="math/tex" id="MathJax-Element-54">X_1, \cdots, X_n</script>是从区间 [θ1,θ2] <script type="math/tex" id="MathJax-Element-55">[\theta_1, \theta_2]</script>上均匀分布的总体中抽出的样本，要估计 θ1,θ2 <script type="math/tex" id="MathJax-Element-56">\theta_1, \theta_2</script>。
我们知道，均匀分布的均值、方差分别是 (θ1+θ2)2 <script type="math/tex" id="MathJax-Element-57">\frac{(\theta_1 + \theta_2)}{2}</script>和 (θ2−θ1)212 <script type="math/tex" id="MathJax-Element-58">\frac{(\theta_2 - \theta_1)^2}{12}</script>。因此，按矩估计法，建立方程

X⎯⎯⎯=(θ1+θ2)2,m2=(θ2−θ1)22 <script type="math/tex" id="MathJax-Element-59">\overline{X} = \frac{(\theta_1 + \theta_2)}{2}, \qquad m_2 = \frac{(\theta_2 - \theta_1)^2}{2}</script>

得出 θ1,θ2 <script type="math/tex" id="MathJax-Element-60">\theta_1, \theta_2</script>的解分别为

θ̂ =X̂ −3m2‾‾‾‾√,θ2^=X⎯⎯⎯+3m2‾‾‾‾√ <script type="math/tex" id="MathJax-Element-61">\hat{\theta} = \hat{X} - \sqrt{3m_2}, \qquad \hat{\theta_2} = \overline{X} + \sqrt{3m_2} \qquad</script> 公式（1）

也可以用 S <script type="math/tex" id="MathJax-Element-62">S</script>代替m2‾‾‾√<script type="math/tex" id="MathJax-Element-63">\sqrt{m_2}</script>

二项分布

设总体有二项分布 B(N,p) <script type="math/tex" id="MathJax-Element-64">B(N, p)</script>， X1,⋯,Xn <script type="math/tex" id="MathJax-Element-65">X_1, \cdots, X_n</script>为从该总体中抽出的样本，要估计 p <script type="math/tex" id="MathJax-Element-66">p</script>，矩估计为X⎯⎯⎯/N<script type="math/tex" id="MathJax-Element-67">\overline{X} / N</script>。
我们知道，

X⎯⎯⎯=Np,m2=Np(1−p) <script type="math/tex" id="MathJax-Element-68">\overline{X} = Np\,, \quad m_2 = Np(1- p)</script>

根据上面的式子，我们可以得到 p=X⎯⎯⎯/N <script type="math/tex" id="MathJax-Element-69">p = \overline{X} / N</script>，当然也可用 m2 <script type="math/tex" id="MathJax-Element-70">m_2</script>来求。

泊松分布

设总体有泊松分布 P(λ),X1,⋯,Xn <script type="math/tex" id="MathJax-Element-71">P(\lambda), X_1, \cdots, X_n</script>为从该总体中抽出的样本，要估计 λ <script type="math/tex" id="MathJax-Element-72">\lambda</script>。
由于 λ <script type="math/tex" id="MathJax-Element-73">\lambda</script>是总体分布的均值，按矩估计法，可用样本均值 X⎯⎯⎯ <script type="math/tex" id="MathJax-Element-74">\overline{X}</script>去估计；另一方面， λ <script type="math/tex" id="MathJax-Element-75">\lambda</script>也是总体分布的方差，故按矩估计法，也可以用 m2 <script type="math/tex" id="MathJax-Element-76">m_2</script>或 S2 <script type="math/tex" id="MathJax-Element-77">S^2</script>去估计。在这里，用均值 X⎯⎯⎯ <script type="math/tex" id="MathJax-Element-78">\overline{X}</script>为优。在一般的情况下，能用低阶矩处理的就不用高阶矩。