Neyman-Pearson 奈曼-皮尔逊决策分析

1. 决策问题的引入——二分类问题

二分类问题中犯错的可能性有两种情况：
①采取决策$w_1$时的实际自然状态为$w_2$，此情况错误率可定义为$P(w_2)P_2(error)$，其中$$P_2(error)={\int }_{R_1}p(x|w_2)dx\text{\hspace{1em}(1)}$$
②采取决策$w_2$时的实际自然状态为$w_1$，此情况错误率可定义为$P(w_1)P_1(error)$，其中$$P_1(error)={\int }_{R_2}p(x|w_1)dx\text{\hspace{1em}(2)}$$

由于先验概率在某些具体问题中一般是确定的，因此称$P_1(e),P_2(e)$为两类错误率，$R_1,R_2$分别是第1，2类错误的决策区域。其图形表示如图所示：

第一类错误：假阳率（FP）；
第二类错误：假阴率（FN）；

2. Neyman-Pearson决策

2.1 问题转化

在某些实际应用过程中，有时希望保证某一类错误率维持在一个固定水平，以此为前提，考虑另一类错误率尽可能地低。比如在医疗检测时，检测出某种疾病非常重要，可能会要求漏报率即第二类错误达到某一个水平$\epsilon$（比如0.1%，即灵敏度99.9%），在这个基础上，希望误报率尽可能低。

如果将$w_1$看作是阴性而把$w_2$看作是阳性，那么第一类错误率定义为：
$$P_1(error)={\int }_{R_2}p(x|w_1)dx\text{\hspace{1em}(3)}$$
第二类错误率定义为：
$$P_2(error)={\int }_{R_1}p(x|w_2)dx\text{\hspace{1em}(4)}$$
因此可将该问题转化为最优化问题（固定一类错误率，使得另一类错误率尽可能小）：
$$\begin{gathered} min{P}_1(e) \\ s.t.P_2(e)=\epsilon \text{\hspace{1em}(5)} \end{gathered}$$

2.2 拉格朗日（language）乘数法

通过引入拉格朗日乘子$\lambda$从而将该有约束条件极值问题写作：
$$minL=P_1(e)+\lambda (P_2(e)-\epsilon )\text{\hspace{1em}(6)}$$
需要注意的是，$L$函数的最小值是关于两类的分界面求解的。假设$R_1,R_2$分别为第一类错误和第二类错误的决策区域，$R$是整个特征空间，且有$R_1+R_2=R$，两个决策区域之间的边界称为决策边界或分界面（一维情况下为一个点-决策点），考虑到类条件概率密度的性质，有
$${\int }_{R_2}p(x|w_1)dx=1-{\int }_{R_1}p(x|w_1)dx\text{\hspace{1em}(7)}$$
将式（3），（4）代入（7）中得：
$$\begin{array}{rl}L& ={\int }_{R_2}p(x|w_1)dx+\lambda [{\int }_{R_1}p(x|w_2)dx-\epsilon ]\\ & =(1-\lambda \epsilon )+{\int }_{R_1}[\lambda p(x|w_2)-p(x|w_1)]dx\end{array}\text{\hspace{1em}(8)}$$
优化的最终目标是求解使式（8）最小的决策边界（点）$x=t$。
根据拉格朗日求解多元函数条件极值的方法，将（8）分别对$\lambda$和分界面（点）$t$求偏导：
$$\begin{array}{rl}\frac{\partial L}{\partial t}& =\lambda p(x|w_2)-p(x|w_1)\\ \frac{\partial L}{\partial \lambda }& ={\int }_{R_1}p(x|w_2)dx-\epsilon \end{array}\text{\hspace{1em}(9)}$$
由于极值点处的导数都应为0，即在决策边界上应满足：
$$\begin{array}{rl}\lambda & =\frac{p(x|w_1)}{p(x|w_2)}\\ \epsilon & ={\int }_{R_1}p(x|w_2)dx\end{array}\text{\hspace{1em}(10)}$$
在式（7）中，若要使得$L$最小，由于第一项$（1-\lambda \epsilon ）$当$\epsilon ,\lambda$确定后，该项为定值。若希望函数整体趋向最小，则应选择决策区域$R_1$使积分项内全为负值（如图，函数在R_1区域恒大于0，积分结果=面积）。

综上，所确定的$R_1$应是所有使得$\lambda p(x|w_2)-p(x|w_1)<0$成立的$x$所组成的区域。
当处于决策区域$R_1$时，由图知应判定为属于$w_1$，由于$R_1+R_2=R$，所以其余情况均应判定为属于$w_2$。
因而决策规则为：

2.3 决策规则扩展