[发明专利]面向垃圾短信分类的离线模型改进与选择方法

说明书

本发明公开了一种面向垃圾短信分类的离线模型改进与选择方法，包括以下步骤：(1)特征选择与扩展，使用特征选择方法选择特征，构造特征词向量，使用特征词向量模型表示原始短信文本；(2)离线分类算法及改进的调优训练与测试，对离线分类算法作面向垃圾短信分类的改进，根据各离线分类算法及改进对步骤(1)所得的训练集和测试集进行数据准备，使用训练集对各离线算法及改进进行调优训练和测试；(3)基于评价指标的离线分类算法选择，提出面向垃圾短信分类的评价指标，使用该评价指标对步骤(2)所得到的测试结果进行分析并选择最优离线分类算法。

技术领域

本发明涉及一种离线文本分类算法，具体涉及一种面向垃圾短信分类的离线 模型改进与选择方法，属于基于文本内容的垃圾短信识别技术领域。

背景技术

在文本分类问题中最重要的是选择和训练文本分类模型，文本分类的性能在 很大程度上取决于文本分类模型。近来，研究人员基于机器学习，结合统计学、 信息学等多学科理论提出各种各样的文本分类模型。

朴素贝叶斯分类算法是基于统计学的机器学习方法，被广泛应用于文本分类 问题。该算法基于特征独立性假设，虽然实际问题中特征之间往往存在相关性， 但是该假设简化了朴素贝叶斯分类模型的计算。在基于内容的垃圾短信分类问题 中，朴素贝叶斯分类算法取得了很好的预测性能。

决策分类树算法也是文本分类问题的常用算法，它使用训练数据集学习一棵 决策分类树，树中的每个节点对应一个特征，节点的每个分支对应基于该节点特 征的一个划分，树的叶子节点对应类别标签。目前有很多决策树构造方法，例如 基于信息增益的ID3算法、基于信息增益比的C4.5算法和基于基尼指数的CART 算法等。决策树分类算法应用于文本分类问题得到一组规则，沿着这些规则对测 试文本的对应特征进行判断，最终可以确定测试文本的类别。

感知机由Schutze等人首次应用到文本分类问题中。后来，应用于文本分类 问题的感知机算法经过大量的改进和优化，例如POSITIVE WINNOW、 BALANCED WINNOW、WIDROW-HOFF等等。感知机实际上是最简单的神经 网络，二者的区别在于，感知机学习得到的是线性分类模型，而神经网络得到的 是非线性的分类模型，但是感知机却能取得与神经网络近似的分类性能，并且训 练时间复杂度较低。

KNN算法基于距离度量函数选择与测试样本距离最近的k个训练样本，然 后使用多数表决的方法决定测试样本的类别。无需训练，但是分类误差也较大， 如果k值选择得过小，容易受到噪声数据的影响，如果k值选择得过大，这时与 测试样本距离较大(不相似)的训练样本也会对预测起作用，产生错误的预测结 果。在文本分类问题中，使用更多的是KNN与其他分类算法结合的分类模型， 例如最近邻和聚类算法、最近邻和最大后验估计等。

支持向量机分类算法被广泛应用于文本分类问题中，并且大量实验表明支持 向量机是准确率很高的分类模型。

近来，集成分类器越来越受到关注，其基本思想是“三个臭皮匠赛过一个诸 葛亮”，多个分类器的预测结果一定比单个分类器的更加可信，学习多个弱分类 器，最后综合每个弱分类器的分类结果作为最终预测结果。分类器集成规则主要 有多数表决规则(Majority Voting)、动态分类器选择(dynamicselection)、 线性加权组合规则(Weighted Linear Combination)、自适应分类器组合规则 (AdaptiveCombination)等。AdaBoost就是一种构建集成分类器的算 法，该算法通过动态改变样本权重分布学习多个弱分类器，采用的集成规则是线 性加权组合规则，根据弱分类器的分类误差率计算权值。

面向垃圾短信特征信息较为稳定的静态短信数据，本发明对离线分类算法进 行改进和选择，其中离线分类算法包括：LR、AdaBoost决策树、SVM和GBDT， 提出面向垃圾短信分类的评价指标，并基于评价指标进行离线模型选择。

发明内容