[发明专利]基于逆向词频的贝叶斯文本分类器

说明书

技术领域

本发明涉及信息科学和机器学习领域，具体地说是一种基于逆向词频的贝叶斯文本分类器。

背景技术

当前，大数据时代来临逐渐被行业认可，大数据应用也逐渐落地。而在大数据时代，数据分析、数据挖掘和机器学习等科学变得炙手可热，成为了大数据时代掘金的利器。随着数据量的激增，尤其是文本数据的明显上升，有越来越多的信息积累，而需要信息的人还没有特别方便的工具去从多数据源的大规模的文本信息资源中提取符合需要的简洁、精炼、可理解的知识。文本数据的复杂性和多场景使用，使得文本分类显得非常重要。无论是新闻聚合、垃圾邮件分类，还是微博内容分析，文本分类都将扮演重要的角色。

发明内容

本发明的目的是克服现有技术中存在的不足，提供一种基于逆向词频的贝叶斯文本分类器。

文本分类是数据挖掘和机器学习中非常重要的研究领域，文本分类的目标是对新文档标以合适的类标签。文本自动分类的过程首先是对训练集中文档的内容进行分析，构造一个分类方案，即分类器。在分类器学习之后，每个类有一个不同的分类方案，可用这些分类方案对新文档分类。

朴素贝叶斯分类器是一种应用基于独立假设的贝叶斯定理的简单概率分类器。贝叶斯分类的基础是概率推理，就是在各种条件的存在不确定，仅知其出现概率的情况下，如何完成推理和决策任务。在文本分类中，我们首先假设各个单词出现的概率相互独立（尽管实际生活中，各个单词并不完全相互独立，但是朴素贝叶斯分类效果仍然很有效），根据训练数据集估计出各个单词的先验概率，由此计算出在测试文档中出现的各个单词之后，属于不同类别分档的后验概率。我们依据最大后验概率值，将文档分类到具体的类别中。

本发明的技术方案是按以下方式实现的，其特点在于以单词的逆向词频作为单词的区分度，加权单词在不同类别中频率得到单词的综合先验概率；根据贝叶斯定理，由先验概率求得这些单词属于不同类别的后验概率，选择最大后验概率值的分类以达到分类的目的；

主要考虑该单词在所有文档中出现的次数和该单词在本文档中出现的次数两个方面；而根据大数定律，单词先验概率值以单词在该分类中频率来表示，而我们考虑了不同单词的区分度，换句话说此时得到的先验概率不是纯粹代表了该单词在该分类中出现的概率，而是代表了该分类中出现该单词的综合先验概率。 

本发明的优点是：

本发明的基于逆向词频的贝叶斯文本分类器和现有技术相比，我们首先假设各个单词出现的概率相互独立，根据训练数据集估计出各个单词的先验概率，由此计算出在测试文档中出现的各个单词之后，属于不同类别分档的后验概率。我们依据最大后验概率值，将文档分类到具体的类别中，本发明具有设计合理、结构简单、使用方便等特点，因而，具有很好的使用价值。

具体实施方式

下面对本发明的基于逆向词频的贝叶斯文本分类器作以下详细说明。

本发明的基于逆向词频的贝叶斯文本分类器，其特点在于以单词的逆向词频作为单词的区分度，加权单词在不同类别中频率得到单词的综合先验概率；根据贝叶斯定理，由先验概率求得这些单词属于不同类别的后验概率，选择最大后验概率值的分类以达到分类的目的；

主要考虑该单词在所有文档中出现的次数和该单词在本文档中出现的次数两个方面；而根据大数定律，单词先验概率值以单词在该分类中频率来表示，而我们考虑了不同单词的区分度，换句话说此时得到的先验概率不是纯粹代表了该单词在该分类中出现的概率，而是代表了该分类中出现该单词的综合先验概率。

标示说明

这里，我们以垃圾邮件分类为例。假设A类为垃圾邮件，B类为非垃圾邮件，V_i表示各个单词，由此，我们做出如下标示： 

Nums  表示样本总数     Counts  表示总单词数

NumsA  表示垃圾邮件个数        NumsB  表示非垃圾邮件个数

CountsA  表示垃圾邮件中单词总数        SumB  表示非垃圾邮件单词总数

CountsV_iA   表示单词V_i在垃圾邮件中出现次数

CountsV_iB   表示单词V_i在非垃圾邮件中出现次数

P(A) = NumsA / Nums   表示一封邮件为垃圾邮件的概率

P(B) = NumsB / Nums   表示一封邮件为非垃圾邮件的概率