[发明专利]基于代表词知识库的文本内容分类方法

摘要

基于“代表词知识库”的文本内容分类方法，属于数据分析和内容分类领域。本发明采用人工智能专家系统的方法，通过对待分类页面W_Page的构成特征向量，计算与已经分类完的“代表词知识库”W_base(C_K)中知识的最短距离D(C_min)和相似度S_k;，根据预置的阈值来判断W_Page归属哪一类，从而达到分类的目的。对代表词分类知识库的更新，使系统变得越来聪明，不仅提高了内容分类的效率，更重要是提高了内容分类的覆盖面和准确程度。

主权项

1.基于代表词知识库的文本内容分类方法，其特征在于，包括：（1）首先对待页面URL的标题Title进行切词，然后与元信息Meta中的关键词进行合并，同时计算出合并后代表词的频度，构成页面特征向量W_Page={(W₁，f₁),(W₂，f₂),…,(W_i，f_i),…}，其中i=1、2、…、M,M为页面中代表词数；若W_Page为空，该页面没有标题和元信息，则对页面正文Bod_y进行切词，用与标题和元信息同样方法构成页面特征向量W_Page：（2）从“代表词分类知识库”中读取所有的分类知识：WBase(Ck)={(w1k,f1k),(w2k,f2k),···,(wjk,fjk),···}]]>其中,k=1、2、…、L，L为知识库分类数；j=1、2、…、N,N为第C_k类代表词数,为第C_k类第j个代表词，为第C_k类第j个代表词对应的频度；（3）计算待文本页面特征向量W_Page与所有类别W_base(C_K)的距离D(C_K)，同时计算出其中最短的距离D(C_min)和相似度S_kD(ck)=Σi=1MΣj=1N(fi-fjk)2]]>D(cmin)=Min{Σk=1LD(ck)}]]>Sk=Σj=1Mfjk-D(cmin)Σj=1Mfjk]]>（4）进行文本分类：当M_k＜S_k≦1时，内容分类成功，将成功分类结果Wnew(Ck)={(w1k,f1k),(w2k,f2k),···,(wik,fik),···}]]>存储到“内容分类结果”文件中，同时更新维护代表词知识库；当S_k≦M_k时，内容分类失败，结束分类。其中M_k是预先设置在0-1之间的相似度阈值。