[发明专利]一种短文本分类方法及系统

权利要求书

1.一种短文本分类方法，其特征在于，包括以下步骤：

a.对短文本进行分词处理，得到分词后的词语；

b.对所述词语进行词性标注，得到所述词语的词性向量；并将所述词性向量乘以对应的词性权重值，得到新的词性向量；

c.采用Word2vec方法对所述词语进行语义特征的学习，得到所述词语的词向量；并计算所有分词后的词语的TF-IDF权重值；将所述词语的词向量乘以对应的TF-IDF权重值得到加权词向量；

d.将所述加权词向量与所述的新的词性向量进行拼接，得到加权拼接词向量；

e.将所述词语的加权拼接词向量与邻接词的加权拼接词向量进行叠加处理得到邻接词向量；

f.根据所述词语的邻接词向量对所述短文本进行分类。

2.根据权利要求1所述的一种短文本分类方法，其特征在于：所述的步骤a中，还进一步对所述短文本进行去除噪点和去除停用词。

3.根据权利要求1所述的一种短文本分类方法，其特征在于：所述的步骤b中，分词后的词语的词性特征采用one-hot形式表示；所述词性包括主干名词、其他名词、主干动词、其他词性，对不同词性设置不同的词性权重值，所述词性权重值设置为：主干名词>其他名词>主干动词>其他词性。

4.根据权利要求1所述的一种短文本分类方法，其特征在于：所述的步骤c中，采用Word2vec中的skip-gram模型进行学习每个词语的语义特征。

5.根据权利要求1所述的一种短文本分类方法，其特征在于：所述的步骤e中，所述邻接词向量的TF-IDF权重值，采用相互叠加的所述词语和所述邻接词中的TF-IDF权重值进行比较，取权重最大值作为叠加后的邻接词相邻的TF-IDF权重值。

6.根据权利要求1至5任一项所述的一种短文本分类方法，其特征在于：所述的步骤b中，计算所有分词后的词语的TF-IDF权重值，进一步对所述TF-IDF权重值进行规范化处理，使得所述词语的权重值之和为1。

7.根据权利要求1至5任一项所述的一种短文本分类方法，其特征在于：所述的步骤f中对所述短文本进行分类，是通过将所述短文本的各个词语的邻接词向量作为已训练的神经网络的输入，根据所述神经网络的输出得到待分类的短文本的类别。

8.根据权利要求1至5任一项所述的一种短文本分类方法，其特征在于：所述的步骤f中对所述短文本进行分类，是根据所述短文本的词语的邻接词向量和文档数据集中的候选文档的词语的邻接词向量，进行计算所述短文本的词语与文档数据集中的候选文档的词语的WMD距离和/或RWMD距离，并根据所述WMD距离和/或RWMD距离得到所述短文本与所述候选文档的相似度，根据相似度最高的候选文档的文本类型对所述短文本进行分类。

9.根据权利要求1至5任一项所述的一种短文本分类方法，其特征在于：所述的步骤f中对所述短文本进行分类，首先根据WCD距离从文档数据集中筛选出与所述短文本最接近的候选文档；然后，根据所述短文本的词语的邻接词向量和所述候选文档的词语的邻接词向量，进行计算所述短文本的词语与所述候选文档的词语的WMD距离和/或RWMD距离，并根据所述WMD距离和/或RWMD距离得到所述短文本与所述候选文档的相似度，根据相似度最高的候选文档的文本类型对所述短文本进行分类。

10.一种短文本分类系统，其特征在于，包括：

文本预处理模块，用于对短文本进行分词处理，得到分词后的词语；

词性向量获取模块，用于对所述词语进行词性标注，得到所述词语的词性向量；并将所述词性向量乘以对应的词性权重值，得到新的词性向量；

词向量获取模块，其采用Word2vec方法对所述词语进行语义特征的学习，得到所述词语的词向量；并计算所有分词后的词语的TF-IDF权重值；将所述词语的词向量乘以对应的TF-IDF权重值得到加权词向量；

拼接模块，用于将所述加权词向量与所述的新的词性向量进行拼接，得到加权拼接词向量；

叠加模块，用于将所述词语的加权拼接词向量与邻接词的加权拼接词向量进行叠加处理得到邻接词向量；

分类模块，根据所述词语的邻接词向量对所述短文本进行分类。