1764年，由英国数学家：托马斯·贝叶斯（Thomas Bayes）提出的。

一开始这个理论并没有被广泛接受，之后，由于计算能力的提高，就变得流行了起来，因为可以用于一些复杂的计算。

 

贝叶斯方法的特点：

• 用概率表示不确定性
• 概率规则表示推理或学习
• 随机变量的概率分布表示推理或学习的最终结果

 

---

 

贝叶斯定理引入了：

• 先验概率；
• 后验概率是由先验概率计算出来的。

假设：有随机变量x和y。

• p(x，y)：表示它们的联合概率；

• p( xly ) 和 p( ylx )：表示条件概率，其中：

P( xly ) ：是条件概率的符号。表示事件 y 发生的条件下，事件 x 发生的概率。条件概率是 “贝叶斯公式” 的关键，它也被称为“似然度”。

• p(y) ：是y的先验概率。

P(y) ：是概率中最基本的符号，表示 y 出现的概率。

比如：在投掷骰子的时候，P(2) 指的是骰子出现数字 “ 2 ” 的概率，这个概率是六分之一。

x和y的联合概率和条件概率，满足一个关系：

 

（这个就是「朴素贝叶斯」）

 

---

 

补充：

其中，朴素（native）：按照中文的理解，意味着简单不奢华。朴素的英文是“native”，意味着“单纯天真”。

因为：朴素贝叶斯是一种简单的贝叶斯算法，我们只能用简单的方式去使用它。比如：天真的认为，所有事物之间的特征都是相互独立的，彼此互不影响。

 

经过变换后，可以得到另一个公式（比较常见）：

 

（这个就是：贝叶斯定理）

 

---

P( xly )是条件概率，也是“贝叶斯公式”的关键所在。

 

具体，举个列子来理解条件概率，可以从“相关性”这一方面来理解：

比如：小明和小红是同班同学，他们各自准时回家的概率是：

P(小明回家) = 1/2

P(小红回家) =1/2

 

但是，假如小明和小红是好朋友，每天都会一起回家，那么：

P(小红回家|小明回家) = 1 (理想状态下)

 

这个例子就是条件概率的应用：小红和小明之间产生了某种关联性，本来俩个相互独立的事件，变得不再独立。

 

贝叶斯公式的核心是“条件概率”，比如：

P( xly )，就表示当 y 发生时，x 发生的概率；

如果P( xly )的值越大，说明一旦发生了 x，那么y 就也可能会发生。两者之间可能存在较高的相关性。

 

---

其实，“先验” 就相当于“未卜先知”。

在事情即将发生之前，做一个概率预判。

比如，从远处驶来了一辆车。

是轿车的概率是 45%，是货车的概率是 35%，是大客车的概率是 20%。

 

在你没有看清之前，基本上靠猜，这个时候，我们就把这个概率就叫做“先验概率”。

---

 

因为，每一个事物都有自己的特征。比如，前面讲的轿车、货车、客车，它们长得都不一样。

 

距离过远的时候，我们没有办法用肉眼分辨。

但是当距离达到一定范围内，就可以根据它们的特征，做出概率预判，这个就是后验概率。

 

比如，

轿车的速度相比于另外两者更快，可以记做 P(轿车|速度快) = 55%；

客车体型可能更大，可以记做 P(客车|体型大) = 35%。