[发明专利]基于依存关系、词性和语义词典的类中心向量文本分类法

摘要

本发明涉及自然语言处理中的文本分类，具体是一种基于依存关系、词性和语义词典的类中心向量文本分类法。针对基于统计学的特征选择算法的语义缺陷，本发明引入依存关系、语义词典、词性对文本特征进行优化与聚类，提出了改进的权重计算公式，进而提出了改进的类中心向量文本分类方法。本发明的文本分类法同时兼顾了传统类中心向量法的高分类效率与K最近邻算法的高分类精度二方面的优点，可广泛应用于各类分类系统中。

主权项

1.基于依存关系、词性和语义词典的类中心向量文本分类法，包括：Step1：首先对文本数据集进行预处理并按照9:1的比例分割训练集和测试集，利用句法分析软件，对经过预处理的数据集进行词性标注与依存关系分析，分别得到其词性标注与依存关系；Step2：分别根据依存等级表和词性等级表确定数据集中文本特征的句子成分等级与词性等级，利用语义词典对文本特征进行同义词替换，按照改进的TF‑IDF方法计算特征权重值；Step3：求取训练集中各类别基于语义词典聚类的类中心向量；Step4：为测试集中待分类文本选择前TOP‑K作为该文本的特征向量；Step5：将待分类文本的特征向量与各类别的类中心向量进行比对，并计算待分类文本特征向量与各类别的类中心向量之间的向量相似度；Step6：将待分类文本分入向量相似度值最大的类别；Step7：转Step4，直到测试集中所有文本分类完毕；在Step2，依存等级表如表1，词性等级表如表2；表1表2所述改进的TF‑IDF方法，是基于依存关系、词性与语义词典的改进的TF‑IDF权重计算方法，改进的TF‑IDF方法和特征权重值计算过程为：Step2‑1依据语义词典分别对数据集中文本的文本特征进行同义词与近义词合并，其中，同义词组使用语义词典中该组的第一个词作为特征代表，而近义词组使用在语义词典中最先搜索到的近义词作为特征代表；Step2‑2根据依存关系的结果，统计文档q中的特征t_i在文本中属于表1第k₁等级句子成分的次数m₁，按照公式(1)计算出文档q中的特征t_i在文本中基于句子成分的权重词频其中，λ是一个参数，用于调节句子成分等级间的权重差距，取值范围是[0,1]；Step2‑3按照公式(2)计算出文档q中的特征t_i在语料中基于句子成分的权重其中，s表示特征ti所在文本总词数，D表示数据集文本总数，pi表示包含特征ti的文本数；Step2‑4根据词性标注的结果，统计特征t_i在文本中属于表2第k₂等级词性的次数m₂，按照公式(3)计算出文档q中的特征t_i在文本中基于词性的权重词频其中，β是一个参数，用于调节词性等级间的权重差距，取值范围是[0,1]；Step2‑5按照公式(4)计算出文档q中的特征t_i在语料中基于词性的权重其中，s、D、pi的含义与公式(2)相同；Step2‑6按照公式(5)计算出文档q中的特征ti在语料中最终的基于TF_IDFq,i的权重wq,i：所述句法分析软件选自：美国斯坦福大学开发的Stanford Parser或哈尔滨工业大学的《语言云》；所述语义词典为现有的可计算同义词与常识词典；所述语料是指分类所使用的文本数据集。