一个程序员的数学素养（4）概率论

2018-12-27

一、简介

边缘概率（又称先验概率）：某个事件发生的概率。边缘概率是这样得到的：在联合概率中，把最终结果中那些不需要的事件通过合并成它们的全概率，而消去它们（对离散随机变量用求和得全概率，对连续随机变量用积分得全概率），这称为边缘化（marginalization），比如A的边缘概率表示为P(A)，B的边缘概率表示为P(B)。

联合概率，表示两个事件A和B共同发生的概率，记为P(AB),P(A,B)或P(A ∩ B)。

条件概率（又称后验概率）

条件概率，就是事件A在另外一个事件B已经发生条件下的发生概率，记为P(A | B)，读作“在B条件下A的概率”。根据定义，可得出P(A | B)=P(A ∩ B)/P(B)。

证明：样本空间有N个等可能的基本事件，随机事件A包含M1个事件，B包含M2个事件。设A和B的联合概率包含M个事件（M是M1和M2的共有事件），则P(A ∩ B)=M/N。有P(A|B)=M/M2=M/N / M2/N=P(AB)/P(B)。

实例：100件产品中有5件不合格品，不合格品中又有3件是次品，2件是废品。设A表示“抽到的产品是次品”，B表示“抽到的产品是不合格品”。5件不合格品种有3件次品，则P(A|B)=3/5。P(B)=5/100。
同时是不合格品和次品的联合概率：P(A ∩ B)=3/100。

概率的加法定理：

P(A ∪ B)=P(A)+P(B)-P(A,B)

概率的乘法公式：

P(AB)=P(A)P(B|A)=P(B)P(A|B)

全概率公式

设Ω为实验E的样本空间，B1,B2,…,Bn为一组事件，两两互不相容且并集为全集，则称B1,B2,…,Bn是样本空间Ω的一个划分。且P(Bi)>0，则有公式：

P(A)=\sum_{i=1}^n{P(B_i)P(A | B_i)}

贝叶斯定理（Bayes’ theorem）

根据概率乘法定理，有

P(A)P(B_i|A)=P(B_i)P(A|B_i)

得到

P(B_i|A)= \dfrac{P(B_i)P(A|B_i)}{P(A)}

再根据全概率公式，得到

P(B_i|A)= \dfrac{P(B_i)P(A|B_i)}{\sum_{i=1}^n{P(B_i)P(A | B_i)}}

怎么理解？

我们把P(B)称为”先验概率”（Prior probability），即在A事件发生之前，我们对B事件概率的一个判断。P(B|A)称为”后验概率”（Posterior probability），即在A事件发生之后，我们对B事件概率的重新评估。P(A|B)/P(A)称为”可能性函数”（Likelyhood），这是一个调整因子，使得预估概率更接近真实概率。

所以，条件概率可以理解成下面的式子：

后验概率　＝　先验概率ｘ调整因子

这就是贝叶斯推断的含义。我们先预估一个”先验概率”，然后加入实验结果，看这个实验到底是增强还是削弱了”先验概率”，由此得到更接近事实的”后验概率”。

在这里，如果”可能性函数”P(A|B)/P(A)>1，意味着”先验概率”被增强，事件A的发生的可能性变大；如果”可能性函数”=1，意味着B事件无助于判断事件A的可能性；如果”可能性函数”<1，意味着”先验概率”被削弱，事件A的可能性变小。

P(规律|现象)=P(现象|规律)P(规律)/P(现象)