beta分布及共轭Bernoulli分布-先验、后验、预测分布

beta分布介绍如下为beta分布的形式，其分布有两个参数， α \alpha和β\beta。其分布形式如下其中，Γ（x）\Gamma（x）是Gamma函数。其中beta分布定义域为【0，1】∫10p(p|α,β)dp=1\int_0^1 {p(p|\alpha,\beta)} \,{\rm d}p=1可以看出∫10pα−1(1−p)β−1dx=B(α,β)\int_0^1

HFUT_qianyang

17476人浏览 · 2016-11-23 16:53:56

HFUT_qianyang · 2016-11-23 16:53:56 发布

beta分布介绍

如下为beta分布的形式，其分布有两个参数， α<script type="math/tex" id="MathJax-Element-1"> \alpha</script>和β<script type="math/tex" id="MathJax-Element-2">\beta</script>。其分布形式如下

其中，
这里写图片描述
Γ（x）<script type="math/tex" id="MathJax-Element-3">\Gamma（x）</script> 是Gamma函数。其中beta分布定义域为【0，1】

\int 10 p (p | α, β) d p = 1

可以看出

\int 10 p α - 1 (1 - p) β - 1 d x = B (α, β)

Bernoulli实验

伯努利试验(Bernoulli experiment)是在同样的条件下重复地、相互独立地进行的一种随机试验。其特点是该随机试验只有两种可能结果：发生或者不发生。如下，发生的概率为p<script type="math/tex" id="MathJax-Element-6">p</script>，不发生的概率为p−1<script type="math/tex" id="MathJax-Element-7">p-1</script>。一次Bernoulli实验对应的形式为：

比如掷硬币，这里定义

c=1<script type="math/tex" id="MathJax-Element-8">c=1</script> 表示正面向上,否则

c=0<script type="math/tex" id="MathJax-Element-9">c=0</script> 表示反面向上。

共轭

在做贝叶斯估计时，有

即后验分布 = 似然函数* 先验分布/ P(X)。

这里写图片描述

之所以采用共轭先验的原因是可以使得先验分布和后验分布的形式相同，这样计算起来就较为方便。为了使得先验分布和后验分布的形式相同，我们定义：如果先验分布和似然函数可以使得先验分布和后验分布有相同的形式，那么就称某参数的共轭先验分布。
一般性的定义如下：设θ<script type="math/tex" id="MathJax-Element-639">\theta </script>为总体分布中的参数（或参数向量），π(θ)<script type="math/tex" id="MathJax-Element-640">\pi \left ( \theta \right )</script>为先验的概率密度函数，加入由抽取的信息计算得到的后验概率密度函数与π(θ)<script type="math/tex" id="MathJax-Element-641">\pi \left ( \theta \right )</script>具有相同的函数形式，则称π(θ)<script type="math/tex" id="MathJax-Element-642">\pi \left ( \theta \right )</script>为θ<script type="math/tex" id="MathJax-Element-643">\theta </script>的共轭先验分布。
需要指出，共轭先验分布是对某一分布的参数而言的，如正太分布的均值、正太分布的方差，离开指定参数以及所在的分布去谈共轭先验分布式没有任何意义的。