什么是多层先验分布？

所给定的先验分布中超参数难以确定时，可以对超参数再给出一个先验，第二个先验称为超先验。由先验和超先验决定的一个新先验就称为多层先验。

简单来说，就是对你之前原本的先验分布上，再假设一层先验分布，这就是两层先验分布。（当然如果不嫌麻烦，可以无穷层的orz…）

---

例：

我们以一个例子来说明：
设某产品的不合格率为θθ<script type="math/tex" id="MathJax-Element-637">\theta</script>，

• θθ<script type="math/tex" id="MathJax-Element-638">\theta</script>的先验为π1(θ|λ)=U(0,λ)π1(θ|λ)=U(0,λ)<script type="math/tex" id="MathJax-Element-639">\pi_1(\theta|\lambda) = U(0, \lambda)</script>.
• λλ<script type="math/tex" id="MathJax-Element-640">\lambda</script>的超先验为π2(λ)=U(0.1,0.5)π2(λ)=U(0.1,0.5)<script type="math/tex" id="MathJax-Element-641">\pi_2(\lambda) = U(0.1, 0.5)</script>.

利用边际分布计算公式，可得θθ<script type="math/tex" id="MathJax-Element-642">\theta</script>的先验为

<script type="math/tex; mode=display" id="MathJax-Element-643">\pi(\theta) = \int_\Lambda \pi_1(\theta|\lambda)\pi_2(\lambda)d\lambda</script>

在此例中

<script type="math/tex; mode=display" id="MathJax-Element-644">\pi(\theta) = \dfrac{1}{0.5-0.1}\int_{0.1}^{0.5} \lambda^{-1}I_{(0,\lambda)}(\theta)d\lambda</script>
即当0<θ<0.10<θ<0.1<script type="math/tex" id="MathJax-Element-645">0<\theta<0.1</script>时，
<script type="math/tex; mode=display" id="MathJax-Element-646">\pi(\theta) = \dfrac{1}{0.4}\int_{0.1}^{0.5} \lambda^{-1}d\lambda=2.5 \ln 5</script>
当0.1⩽θ<0.50.1⩽θ<0.5<script type="math/tex" id="MathJax-Element-647">0.1\leqslant\theta<0.5</script>时，
<script type="math/tex; mode=display" id="MathJax-Element-648">\pi(\theta) = 2.5\int_{0.5}^{\theta} \lambda^{-1}d\lambda=2.5 (\ln 0.5 - \ln \theta)</script>
当0.5⩽θ⩽10.5⩽θ⩽1<script type="math/tex" id="MathJax-Element-649">0.5\leqslant \theta\leqslant 1</script>时，
<script type="math/tex; mode=display" id="MathJax-Element-650">\pi(\theta) = 0</script>

在理论上没有限制多层先验只分两步，可以是三步或更多步，但在实际应用中多于两步的先验是罕见的，对第二步先验π2(λ)π2(λ)<script type="math/tex" id="MathJax-Element-651">\pi_2(\lambda)</script>用主观概率或用历史数据给出是有困难的，因为人常是不能观察的，甚至连间接观察都是难以进行的。很多人用无信息先验作为第二步的先验。因为第二步先验即使决定有偏差，而导致错误结果的危险性更小一些，相对说来，第一步先验更为重要。

多层先验常常是在这样一种场合使用，当一步给出先验π(θ)π(θ)<script type="math/tex" id="MathJax-Element-652">\pi(\theta)</script>没有把握时。那用两步先验要比强行用一步先验所冒风险要小一些。但是实际的应用上，就个人而言，多层先验分布应用的地方真的不多，甚至可以说很少，因为一层先验能解决的问题为什么要用到两层呢？