最近开始自学PRML，为此又补了概率论中的一些知识点。
相较于古典概率通过各种估计手段来确定参数的分布，贝叶斯学派则是使用后验概率来确定，为了方便计算后验概率，引入共轭先验分布来方便计算，这是后话了。
那么一些常见的共轭后验分布有哪些呢？这就引出了这里的主题。有诸如贝塔分布、伽马分布和倒伽马分布等。(先打个坑，后面再补充)

---

简介

贝塔分布

下面就是 X∼Beta(α,β) <script id="MathJax-Element-463" type="math/tex">X \sim Beta(\alpha,\beta)</script>的概率密度函数

<script id="MathJax-Element-464" type="math/tex; mode=display"> f(x)={ \Gamma(\alpha + \beta) \over \Gamma(\alpha) \Gamma(\beta)}x^{\alpha-1}(1-x)^{\beta-1} </script>

• E(X)=αα+β <script id="MathJax-Element-465" type="math/tex">E(X)={{\alpha}\over{\alpha+\beta}}</script>
• Var(X)=αβ(α+β)2(α+β+1) <script id="MathJax-Element-466" type="math/tex">Var(X)={{\alpha\beta}\over{(\alpha+\beta)^2(\alpha+\beta+1)}}</script>

这个式子并不是从天而降，这是有由来的。
最先想构造的概率分布函数是，

<script id="MathJax-Element-467" type="math/tex; mode=display"> f(x)=wx^{\alpha-1}(1-x)^{\beta-1} </script>
其中， w <script id="MathJax-Element-468" type="math/tex">w</script>是一个常数，为了满足概率分布函数的两个条件

• x∈[0,1]<script id="MathJax-Element-469" type="math/tex">x\in [0,1]</script>
  • ∫10f(x)dx=1 <script id="MathJax-Element-470" type="math/tex">\int_{0}^{1}f(x)dx=1</script>

  • 因此
    

    f(x)=xα−1(1−x)β−1∫10xα−1(1−x)β−1dx=Γ(α+β)Γ(α)Γ(β)xα−1(1−x)β−1=1B(α,β)xα−1(1−x)β−1
    <script id="MathJax-Element-471" type="math/tex; mode=display"> f(x)={{x^{\alpha-1}(1-x)^{\beta-1}}\over{\int_{0}^{1}x^{\alpha-1}(1-x)^{\beta-1}dx}}\\={ \Gamma(\alpha + \beta) \over \Gamma(\alpha) \Gamma(\beta)}x^{\alpha-1}(1-x)^{\beta-1}\\={{1}\over{B(\alpha,\beta)}}x^{\alpha-1}(1-x)^{\beta-1} </script>

    贝塔函数

    B(α,β)=∫10xα−1(1−x)β−1dx <script id="MathJax-Element-220" type="math/tex">B(\alpha,\beta)=\int_{0}^{1}x^{\alpha-1}(1-x)^{\beta-1}dx</script>

    ---

    伽马函数

    其中 Γ(x) <script id="MathJax-Element-221" type="math/tex">\Gamma(x)</script>就是伽马函数，此处传送门详解伽马函数历史由来
    

    Γ(θ)=∫∞0xθ−1e−xdx
    <script id="MathJax-Element-222" type="math/tex; mode=display"> \Gamma(\theta)=\int_{0}^{\infty}x^{\theta-1}e^{-x}dx </script>

    其中伽马函数有一些性质需要注意

    • Γ(x+1)=xΓ(x) <script id="MathJax-Element-223" type="math/tex">\Gamma(x+1)=x\Gamma(x)</script>

    • 对于整数 n <script id="MathJax-Element-224" type="math/tex">n</script>来说
      

      Γ(n)=(n−1)!
      <script id="MathJax-Element-225" type="math/tex; mode=display"> \Gamma(n)=(n-1)! </script>

    • 对于 x∈(0,1) <script id="MathJax-Element-226" type="math/tex">x\in{(0,1)}</script>,
      

      Γ(1−x)Γ(x)=πsin(πx)
      <script id="MathJax-Element-227" type="math/tex; mode=display"> {\Gamma(1-x)\Gamma(x)}={{\pi} \over {\sin(\pi x)}} </script>

    • Γ(12)=π√ <script id="MathJax-Element-228" type="math/tex">\Gamma({1 \over 2})=\sqrt{\pi}</script>

    ---

    伽马分布

    X∼Γ(k,θ) <script id="MathJax-Element-229" type="math/tex">X \sim \Gamma(k,\theta)</script>的概率密度函数如下

    f(x)=xk−1e−x/θθkΓ(k),(k>0,θ>0)
    <script id="MathJax-Element-410" type="math/tex; mode=display"> f(x)={{x^{k-1}e^{-{{x}/{\theta}}}}\over{\theta^k\Gamma(k)}},(k\gt0,\theta\gt0) </script>

    • E(x)=kθ <script id="MathJax-Element-411" type="math/tex">E(x)=k\theta</script>

    • Var(x)=kθ2 <script id="MathJax-Element-412" type="math/tex">Var(x)=k\theta^2</script>

    
    

    ---

    倒伽马分布

    X∼IGa(α,β) <script id="MathJax-Element-392" type="math/tex">X\sim IGa(\alpha,\beta)</script>
    由 Y=g(X)=1X及X∼Γ(k,θ) <script id="MathJax-Element-393" type="math/tex">Y=g(X)={{1}\over{X}}及X\sim \Gamma(k,\theta)</script>推出 Y <script id="MathJax-Element-394" type="math/tex">Y</script>的分布，即为倒伽马分布。
    

    fY(y)=fX(g−1(y)|ddyg−1(y)|)=1θkΓ(k)(1y)k+1exp(−1yθ)=1θkΓ(k)y−k−1exp(−1yθ)
    <script id="MathJax-Element-395" type="math/tex; mode=display"> f_Y(y)=f_X(g^{-1}(y)|{d\over{dy}}g^{-1}(y)|)\\ ={1\over{\theta^k\Gamma(k)}}({{1}\over{y}})^{k+1}exp({{-1}\over{y\theta}})\\ ={1\over{\theta^k\Gamma(k)}}y^{-k-1}exp({{-1}\over{y\theta}}) </script>
    用 α <script id="MathJax-Element-396" type="math/tex">\alpha</script>替换 k <script id="MathJax-Element-397" type="math/tex">k</script>,β<script id="MathJax-Element-398" type="math/tex">\beta</script>替换 θ−1 <script id="MathJax-Element-399" type="math/tex">\theta^{-1}</script>得：
    
    fX(x)=βαΓ(α)x−α−1exp(−βx)
    <script id="MathJax-Element-400" type="math/tex; mode=display"> f_X(x)={{\beta^\alpha}\over{\Gamma(\alpha)}}x^{-\alpha-1}exp({{-\beta}\over{x}}) </script>
    上式即为倒伽马分布的概率密度函数 X∼IGa(α,β) <script id="MathJax-Element-401" type="math/tex">X\sim IGa(\alpha,\beta)</script>。

    • E(X)=βα−1,α>1 <script id="MathJax-Element-402" type="math/tex">E(X)={\beta\over{\alpha-1}},\alpha\gt1</script>

    • D(X)=β2(α−1)2(α−2),α>2 <script id="MathJax-Element-403" type="math/tex">D(X)={{\beta^2}\over{(\alpha-1)^2(\alpha-2)}},\alpha\gt2</script>

    
    

    参考资料

    • https://en.wikipedia.org/wiki/Beta_distribution

    • https://en.wikipedia.org/wiki/Beta_function

    • https://en.wikipedia.org/wiki/Inverse-gamma_distribution

    
    本作品采用知识共享署名-非商业性使用-相同方式共享 3.0 中国大陆许可协议进行许可。