[发明专利]基于代表词知识库的文本内容分类方法

说明书

技术领域

本发明属于文本内容分类领域，特别是涉及到一个基于专家系统代表词分类知识库的文本内容分类方法、系统及装置。

技术背景

随着移动互联网的迅猛发展，特备是3G、4G互联网普及，原本只有专业和时尚人士上网变成草根屌丝们都能上网，带来了全民上网的信息化时代，造成信息爆炸。有效的组织管理好互联网信息，并从这些海量的大数据中快速、准确、全面的获取客户的兴趣特征，是对当今信息科学技术领域的一大挑战。文本分类技术，作为处理海量互联网文本数据的关键技术，可以解决电信运营商智能营销的问题，达到提高效率、降低成本、减少投诉、增加收益精细化运营的目的。

自动文本页面分类方法已经成为研究自然语言处理的热点，其分类方法各种各样，归结为有⑴基于IF-THEN决策树专家规则的分类方法；⑵基于自然语言利用神经网络的学习算法；⑶基于关键词的语言算法等的语义分析；⑷基于一组词或词组在文中出现频率、位置、以及词与词间的亲近程度的模式匹配；⑸通过识别内容中的共性元素进行聚类分类；⑹基于概率统计的贝叶斯分类；⑺遗传算法分类优化技术等等……。但是，这些分类方法只解决某些部分的具体应用、数据规模比较小、没有海量“垃圾”的内容分类

但是，以上这些自动文本页面分类均无法解决海量大数据的文本内容分类问题，然而本发明填补了百亿级海量大数据的分类问题。

发明内容

鉴于以上存在的问题，本发明的目的在于：提供一种通过人工智能专家系统构建的基于代表词知识库的文本内容分类方法，旨在解决电信运营商百亿级海量“有效”访问内容（页面URL）进行准确而高效的分类的问题。

本发明的目的是通过下述技术方案实现的：

基于代表词知识库的文本内容分类方法，其特征在于，包括：

（1）首先对待页面URL的标题Title进行切词，然后与元信息Meta中的关键词进行合并，同时计算出代表词的频度，构成页面特征向量W_Page={(W₁，f₁),(W₂，f₂),…,(W_i，f_i),…}，其中i=1、2、…、M,M为页面中代表词数；若W_Page为空，该页面没有标题和元信息，则对页面正文Bod_y进行切词，用与标题和元信息同样方法构成页面特征向量W_Page：

（2）从“代表词分类知识库”中读取所有的分类知识：

WBase(Ck)={(w1k,f1k),(w2k,f2k),···,(wjk,fjk),···}]]>