机器学习（4）朴素贝叶斯

2019-02-16

贝叶斯的学习需要概率论的基本知识，条件概率、全概率、加乘法定理、贝叶斯公式等等基础知识可参考博客“数学素养”的“概率论”相关章节。

一、朴素贝叶斯假设和公式

朴素贝叶斯是贝叶斯决策理论的一部分，我们称之为“朴素”(native)，是因为整个形式化过程只做最原始、最简单的假设。朴素贝叶斯分类器中的假设是：

每个特征都是独立的
每个特征同等重要

贝叶斯决策理论的核心思想是，分类时，我们会选择高概率对应的类别，即选择具有最高概率的决策。

P(B_i|A)= \dfrac{P(B_i)P(A|B_i)}{\sum_{i=1}^n{P(B_i)P(A | B_i)}}

可得到如下形式：

P(A|B)= \dfrac{P(A)P(B|A)}{P(B)}

怎么理解？

P(A)称为”先验概率”（Prior probability），即在B事件发生之前，我们对A事件概率的一个判断。
P(A|B)称为”后验概率”（Posterior probability），即在B事件发生之后，我们对A事件概率的重新评估。
P(B|A)/P(B)称为”可能性函数”（Likelyhood），这是一个调整因子，使得预估概率更接近真实概率。

所以，条件概率可以理解成下面的式子：

后验概率　＝　先验概率ｘ调整因子

这就是贝叶斯推断的含义。我们先预估一个”先验概率”，然后加入实验结果，看这个实验到底是增强还是削弱了”先验概率”，由此得到更接近事实的”后验概率”。

在这里，如果”可能性函数”P(B|A)/P(B)>1，意味着”先验概率”被增强，事件A的发生的可能性变大；如果”可能性函数”=1，意味着B事件无助于判断事件A的可能性；如果”可能性函数”<1，意味着”先验概率”被削弱，事件A的可能性变小。

二、朴素贝叶斯公式计算实例

为方便理解上述公式，对于规律总结来讲，可写成：

P(规律|现象)=P(现象|规律)P(规律)/P(现象)

对于分类任务来讲，可写成：

P(类别|特征)=P(特征|类别)P(类别)/P(特征)

实例1

有两个碗，1号碗里有30颗水果糖和10块巧克力糖，2号碗里有20颗水果糖和20块巧克力糖。然后把碗盖住。随机选择一个碗，从里面摸出了一颗水果糖。问题：这颗水果糖来自1号碗的概率是多少？

我们希望得到概率P(1号碗|水果糖)，但怎样进行计算并非显而易见。问题如果换成在1号碗中水果糖的概率P(水果糖|1号碗)则简单的多，但可惜的是条件概率并不满足交换律，P(1号碗|水果糖)和P(水果糖|1号碗)并不相同。那么可以使用贝叶斯定理。

P(1号碗|水果糖)=(P(水果糖|1号碗)/P(水果糖))*P(1号碗)

其中两个碗的选择是随机的，P(1号碗)=1/2。
P(水果糖|1号碗)=30颗水果糖/(30颗水果糖和10块巧克力糖)=3/4。
P(水果糖)，可以使用全概率公式计算，其实是1/2 × 30/40 + 1/2 × 20/40=5/8。
可能性函数为(3/4)/(5/8)=6/5

最终得出P(1号碗|水果糖)=1/2 × 6/5 =3/5。

可以看出先验概率为1/2，当有了抓出的是水果糖这个条件后，可能性函数为6/5，使得后验概率提升到了3/5。

实例2

男士的条件会影响到女士是否愿意嫁，数据如下：

样貌	性格	身高	上进心	嫁不嫁
帅	不好	矮	不上进	不嫁
不帅	好	矮	上进	不嫁
帅	好	矮	上进	嫁
不帅	好	高	上进	嫁
帅	不好	矮	上进	不嫁
不帅	不好	矮	不上进	不嫁
帅	好	高	不上进	嫁
不帅	好	高	上进	嫁
帅	好	高	上进	嫁
不帅	不好	高	上进	嫁
帅	好	矮	不上进	不嫁
帅	好	矮	不上进	不嫁

那么有一个男生，四个特点分别是不帅，性格不好，身高矮，不上进，请你判断（分类）一下女生是嫁还是不嫁？

问题可以变为P(嫁|不帅,性格不好,矮,不上进) 和P(不嫁|不帅,性格不好,矮,不上进) 这两个概率哪个高？

根据贝叶斯公式，有以下2个：

1、P(嫁|不帅,性格不好,矮,不上进) = P(嫁) × P(不帅,性格不好,矮,不上进|嫁)/P(不帅,性格不好,矮,不上进)

2、P(不嫁|不帅,性格不好,矮,不上进) = P(不嫁) × P(不帅,性格不好,矮,不上进|不嫁)/P(不帅,性格不好,矮,不上进)

P(嫁)=P(不嫁)=6/12
P(不帅,性格不好,矮,不上进|嫁)这个是联合概率，=P(不帅|嫁) × P(性格不好|嫁) × P(矮|嫁) × P(不上进|嫁)=1/2 × 1/6 × 1/6 × 1/6 =1/432
P(不帅,性格不好,矮,不上进|不嫁)=P(不帅|不嫁) × P(性格不好|不嫁) × P(矮|不嫁) × P(不上进|不嫁)=1/3 × 1/2 × 1 × 2/3 =1/9
P(不帅,性格不好,矮,不上进)套用全概率公式，=P(嫁) × P(不帅,性格不好,矮,不上进|嫁)+ P(嫁) × P(不帅,性格不好,矮,不上进|不嫁)=1/2 × 1/392 + 1/2 × 1/9=49/392

可得出P(嫁|不帅,性格不好,矮,不上进) =(1/432)/(49/432)=1/49，P(不嫁|不帅,性格不好,矮,不上进)==(1/9)/(49/432)=48/49。可以看出不嫁的概率远远大于嫁的概率。

三、关键词过滤分类器的代码实现

以社区留言评论为例，我们要屏蔽侮辱性的言论，所以要构建一个快速过滤器，如果某条留言使用了负面或者侮辱性的语言，那么就将该留言标志为内容不当。过滤这类内容是一个很常见的需求。

准备数据和标签

对此问题建立两个类型：侮辱类和非侮辱类，使用1和0分别表示。

'''
@File    :   bayes.py  
@Version : 1.0  
@Author :   iherr
@Desciption : None
'''

import numpy as np

def loadDataSet():
    '''
    创建数据集和分类
    :return: 数据集和分类
    '''
    postingList = [['my', 'dog', 'has', 'flea', 'problems', 'help', 'please'],
                   ['maybe', 'not', 'take', 'him', 'to', 'dog', 'park', 'stupid'],
                   ['my', 'dalmation', 'is', 'so', 'cute', 'I', 'love', 'him'],
                   ['stop', 'posting', 'stupid', 'worthless', 'garbage'],
                   ['mr', 'licks', 'ate', 'my', 'steak', 'how', 'to', 'stop', 'him'],
                   ['quit', 'buying', 'worthless', 'dog', 'food', 'stupid']] #切分的词条
    classVec = [0, 1, 0, 1, 0, 1]  # 1是侮辱类, 0是非侮辱类
    return postingList, classVec

数据处理

我们把文本看成单词向量或者词条向量，也就是说将句子转换为向量。考虑出现所有文档中的单词，再决定将哪些单词纳入词汇表或者说所要的词汇集合，然后必须要将每一篇文档转换为词汇表上的向量。简单起见，我们先假设已经将本文切分完毕，存放到列表中，并对词汇向量进行分类标注。

def createVocabList(dataSet):
    '''
    将数据集里的词条整理成词汇表
    :param dataSet:数据集
    :return:不重复的词汇表
    '''
    vocabSet = set([])  # 创建空的set集合
    for document in dataSet:
        vocabSet = vocabSet | set(document)  # 并集
    return list(vocabSet)


def setOfWords2Vec(vocabList, inputSet):
    '''
    根据词汇表，将切分的词条向量化（每个元素为0或1）
    :param vocabList:词汇表
    :param inputSet:切分的词条
    :return:词条向量
    '''
    returnVec = [0] * len(vocabList)
    for word in inputSet:
        if word in vocabList:
            returnVec[vocabList.index(word)] = 1
        else:
            print("the word: %s is not in my Vocabulary!" % word)
    return returnVec

测试调用

import bayes
import numpy as np

if __name__ == '__main__':

    postingList, classVec = bayes.loadDataSet()
    print('postingList:\n',postingList)
    myVocabList = bayes.createVocabList(postingList)
    print('myVocabList:\n',myVocabList)
    trainMat = []
    for postinDoc in postingList:
        trainMat.append(bayes.setOfWords2Vec(myVocabList, postinDoc))
    print('trainMat:\n', trainMat)

    p0V, p1V, pAb = bayes.trainNB0(trainMat, classVec)
    print('p0V:\n', p0V)
    print('p1V:\n', p1V)
    print('classVec:\n', classVec)
    print('pAb:\n', pAb)

训练朴素贝叶斯分类器

def trainNB0(trainMatrix, trainCategory):
    '''
    朴素贝叶斯分类器训练函数
    :param trainMatrix: 词条向量化构成的矩阵
    :param trainCategory: 类别标签
    :return: p0Vect-非侮辱类条件概率数组，p1Vect-侮辱类条件概率数组，pAbusive-文档属于侮辱类的概率
    '''
    numTrainDocs = len(trainMatrix) # 训练的数据集数量
    numWords = len(trainMatrix[0])  #每个数据集的词条数
    pAbusive = sum(trainCategory) / float(numTrainDocs) #文档属于侮辱类的概率
    p0Num = np.ones(numWords); #词条初始化，为防止0乘以任何数为0，因此初始化为0
    p1Num = np.ones(numWords)  #同上
    p0Denom = 2.0;  # 本来是0开始计数，怕出现分母为0，设置为2。
    p1Denom = 2.0
    for i in range(numTrainDocs):
        if trainCategory[i] == 1: #统计属于侮辱类的条件概率所需的数据，即P(w0|1),P(w1|1),P(w2|1)...
            p1Num += trainMatrix[i]
            p1Denom += sum(trainMatrix[i])
        else:                     #统计属于非侮辱类的条件概率所需的数据，即P(w0|0),P(w1|0),P(w2|0)...
            p0Num += trainMatrix[i]
            p0Denom += sum(trainMatrix[i])
    p1Vect = np.log(p1Num / p1Denom)  # 本来不用log，因为计算概率时有太多很小的数相乘导致下溢出，因此对乘积取自然对数。ln(a*b)=ln(a)+ln(b),f(x)和ln(f(x))两者在某一点的单调性相同。
    p0Vect = np.log(p0Num / p0Denom)
    return p0Vect, p1Vect, pAbusive

使用分类器实施分类

def classifyNB(vec2Classify, p0Vec, p1Vec, pClass1):
    # p1代表的公式如下：P(侮辱 | w0,w1,w2,...) = P(侮辱) × P(w0,w1,w2,... |侮辱) / P(w0,w1,w2,...)
    p1 = sum(vec2Classify * p1Vec) + np.log(pClass1)  # 都是乘积，由于p1Vec已取对数，因此对P(1)也需要同样取对数
    # p0代表的公式如下：P(非侮辱 | w0,w1,w2,...) = P(非侮辱) × P(w0,w1,w2,... |非侮辱) / P(w0,w1,w2,...)
    p0 = sum(vec2Classify * p0Vec) + np.log(1.0 - pClass1)
    if p1 > p0: #只需要比对分子即可，因为分母相同，P1大则归到侮辱类
        return 1
    else:
        return 0

测试

testEntry = ['love', 'my', 'dalmation']  # 测试样本1
   thisDoc = np.array(bayes.setOfWords2Vec(myVocabList, testEntry))  # 测试样本向量化
   if bayes.classifyNB(thisDoc, p0V, p1V, pAb):
       print(testEntry, '属于侮辱类')
   else:
       print(testEntry, '属于非侮辱类')
       
   testEntry = ['stupid', 'garbage']  # 测试样本2
   thisDoc = np.array(bayes.setOfWords2Vec(myVocabList, testEntry))  # 测试样本向量化
   if bayes.classifyNB(thisDoc, p0V, p1V, pAb):
       print(testEntry, '属于侮辱类')  
   else:
       print(testEntry, '属于非侮辱类')

输出结果：

1 2	['love', 'my', 'dalmation'] 属于非侮辱类 ['stupid', 'garbage'] 属于侮辱类

四、相关代码

『代码传送门』