这篇文章看一下公式式怎么推导出来的。

正经的LDA，主要有以下几个方面：

• 一个函数：gamma函数
• 四个分布：二项分布，多项分布，beta分布，狄利克雷分布
• 一个概念一个理念：共轭先验与贝叶斯框架
• pLSA,LDA
• 一个采样：Gibbs采样

我们来看一下它是怎么推导出来的。

共轭先验与共轭分布

假定似然函数$p(x|\theta )$已知，问题是选取什么样的先验分布$p(\theta )$和后验分布$p(\theta |x)$，使得他们具有相同的数学形式（参数可以不一样）。如果先验分布和后验分布具有相同的数学形式，则称他们为共轭分布，且先验分布为似然函数的共轭先验分布。

举个例子就是
$$先验分布：p_{先}={\nu }^a(1-\nu {)}^b$$
$$后验分布：p_{后}={\nu }^m(1-\nu {)}^n$$
这就是具有相同的数学形式，但参数不一样的情况。

gamma函数

对于整数而言：
$$\Gamma (n)=(n-1)!$$
对于实数：
$$\Gamma (x)={\int }_0^{\infty }{t}^{x-1e^{-t}}dt$$

二项分布

二项分布是由n个独立的是、非重复实验中成功次数的离散概率分布其中每次成功的概率为p，相当于你去求婚，每次求婚都有两种结果，成功或失败，如果求婚一次，则称为伯努利分布，如果求婚n次的话（有点略倒霉呀！），则称为二项分布，记为：X ~ B(n,p),它的概率密度函数为：
$$p(X=k)=C_n^k{p}^k(1-p{)}^{n-p}=\frac{n!}{k!(n-k)!}{p}^k(1-p{)}^{n-p}$$

分布如图

多项式分布（multinomial distribution）

多项式就是二项分布在高维情况下的推广，把求婚的例子改成抛骰子就OK了。

如果用骰子的例子，k=6,$n_i$表示出现第i点的次数$（i\in 1,2,3,4,5,6i\in 1,2,3,4,5,6）$； $p_i$表示出现第i点的概率。

beta分布

beta是指一组定义在（0，1）之间的连续概率分布，记为$XBe(\alpha ,\beta )$

它的概率密度函数和累积分布函数为：

狄利克雷分布

事实上，它是Beta函数在高维空间上的推广，

其中：

对于三维的情况下，将它的概率密度函数取对数，绘制它的分布图像如下：

上图中，取K=3，也就是有两个独立参数x1,x2，分别对应图中的两个坐标轴，第三个参数始终满足$x3=1-x1-x2$且$\alpha 1=\alpha 2=\alpha 3=\alpha$，图中反映的是参数$\alpha$从$\alpha =(0.3,0.3,0.3)$变化到$(2.0,2.0,2.0)$时的概率对数值的变化情况。

---

几个主题模型

1.生成模型unigram model

对于已经分好词的文档$d=(w_1,w_2,w_3,\dots ,w_N)$,用$p(w_n)$表示词 $w_n$的先验概率，则生成文档dd的概率为：
$$p(d)=\prod _{n=1}^{N}p(w_n)$$

这个是最简单的方法，就是把文章中每个单词出现的概率是多少乘起来，就等于这篇文档的出现的概率。

2.Mixture of unigrams model

这个模型的生成过程是先给某个文档生成主题，再根据主题生成文档，该文档中的每个词都来源于同一主题。

举个例子，假如有k个主题：z1,z2,z3,…,zkz1,z2,z3,…,zk,那生成文档的概率为：
$$p(d)=p(z_1)\prod _{i=1}^{N}p(w_i|z_1)+p(z_2)\prod _{i=1}^{N}p(w_i|z_2)\cdots +p(z_k)\prod _{i=1}^{N}p(w_i|z_k)$$

它的含义就是这篇文档属于某一主题 $t$ 的概率乘以这篇文档中的每一个单词出现在该主题 $t$ 下的概率的连乘。

与上一个模型相比，这个模型的主要改进是使用了Topic作为中间量。

这两个模型被我们称之为生成模型，扮演的角色相当于前面的似然函数likelihood.

3.PLSA

假设有三个主题，分别为教育，经济，交通，PLSA就像扔骰子一样，第一次得到文档到主题的概率分布：$P(t|d)$，第二次呢，就得到主题都单词的分布：$p(w|t)$,假设得到的主题是经济，那就是$p(金融|经济)$，最后把这两个概率相乘，就得到了文档到单词的分布：$p(单词|文档)$

我们用公式表示出来就是：$根据文档\to 单词的信息：p(w_j|d_i)$训练出
$$文档\to 主题：p(z_k|d_i)$$

$$主题\to 单词：p(w_j|z_k)$$

得到：
$$p(w_j|d_i)=\sum _{k=1}^{K}p(w_j|z_k)p(z_k|d_i)$$
然后得到文档中每个词的生成概率：
$$p(d_i,w_i)=p(d_i)p(w_j|d_i)=p(d_i)\sum _{k=1}^{K}p(w_j|z_k)p(z_k|d_i)$$
其中，$p(di)$可以事先计算出来，但是$p(w_j|z_k),p(z_k|d_i)$是未知的，这就是我们要估计 的参数值，

$$\theta =(p(w_j|z_k)p(z_k|d_i))$$
最大化就是我们的优化目标。

4.LDA

LDA其实就是在PLSA上加了一层贝叶斯框架，为了更好的理解LDA，我们把LDA和PLSA比较一下：
对于PLSA：

• 按照概率$p(d_i)$选择一篇文档$d_i$
• 选定文档$d_i$之后，确定该文档的主题；
• 从主题分布中按照概率$p(z_k|d_i)$选择隐含的主题的类别$z_k$;
• 选择主题后，确定该主题下词分布
• 从词分布中按照概率$p(w_j|z_k)$选择一个词$w_j$

对于LDA：

1. 按照先验概率$p(d_i)$选择一篇文档$d_i$
2. 从狄利克雷分布$\alpha$中取样生成文档$d_i$的主题分布${\theta }_i$,也就是主题分布${\theta }_i$由超参数为$\alpha$的狄利克雷分布构成
3. 从主题的多项式分布${\theta }_i$取样生成文档$d_i$的第$j$个词的主题$z_{i,j}$
4. 从狄利克雷分布ββ中取样生成主题$z_{i,j}$对应的词语分布$z_{i,j}$,也就是说词语分布由参数为$\beta$的狄利克雷分布生成
5. 从词语的多项式分布${\varphi }_{z_{i,j}}$采样最终生成词语$w_{i,j}$

用一分钟解释就是LDA把PLSA中按照固定概率取的参数都换成了某一固定的概率分布，它们的本质区别是估计未知参数所采用的思想不同，PLSA采用的是频率派的思维:参数$\theta$虽然未知，但它是一个确定的值；LDA采用的是贝叶斯思维：认为待估计参数为随机变量，且服从一定的概率分布。

详细公式解释：https://blog.csdn.net/v_july_v/article/details/41209515

参考
七月算法课课件