[发明专利]一种短文本分类方法及系统

说明书

本发明公开了一种短文本分类方法及系统，其通过对短文本进行分词处理，对分词后的词语进行词性标注，得到所述词语的词性向量；并将所述词性向量乘以对应的词性权重值，得到新的词性向量；将所述词语的词向量乘以对应的TF‑IDF权重值得到加权词向量；将所述加权词向量与所述的新的词性向量进行拼接，得到加权拼接词向量；将所述词语的加权拼接词向量与邻接词的加权拼接词向量进行叠加处理得到邻接词向量；根据所述词语的邻接词向量对所述短文本进行分类，从而得到准确率较高的短文本分类结果；并且，本发明根据邻接词向量进行计算所述短文本与所述候选文档的相似度对所述短文本进行分类，进一步提高了计算效率。

技术领域

本发明涉及计算机的自然语言处理技术领域，特别是一种短文本分类方法及其应用该方法的系统。

背景技术

短文本分类是浅层自然语言处理领域的一个分支，其处理对象为各种形式的短文本语料。在自然语言处理领域，如何表达一个词语或者句子一直是一个难题。现有技术的文本分类方法例如词嵌入技术(Word Embedding)虽然能够使得词语的表达(representation)变得越来越强大，然而，对于句子或者短文本的表达能力却还有待提高。

目前表现的比较好的方法还有word2vec，sentence2vec，tf-idf，LSI等。但是，上述方法要么是忽略了句子中词语的语义信息、位置信息，要么是忽略了相邻词存在的关联关系，使得学习得到的结果丢失了部分语义，从而使得分类结果不准确。

发明内容

本发明为解决上述问题，提供了一种短文本分类方法及系统，其通过对短文本中的词语的词向量和词性向量进行拼接，并将词语与邻接词进行叠加，从而根据邻接词向量对所述短文本进行分类，最终得到准确率较高的短文本分类结果。

为实现上述目的，本发明采用的技术方案为：

一种短文本分类方法，其包括以下步骤：

a.对短文本进行分词处理，得到分词后的词语；

b.对所述词语进行词性标注，得到所述词语的词性向量；并将所述词性向量乘以对应的词性权重值，得到新的词性向量；

c.采用Word2vec方法对所述词语进行语义特征的学习，得到所述词语的词向量；并计算所有分词后的词语的TF-IDF权重值；将所述词语的词向量乘以对应的TF-IDF权重值得到加权词向量；

d.将所述加权词向量与所述的新的词性向量进行拼接，得到加权拼接词向量；

e.将所述词语的加权拼接词向量与邻接词的加权拼接词向量进行叠加处理得到邻接词向量；

f.根据所述词语的邻接词向量对所述短文本进行分类。

优选的，所述的步骤a中，还进一步对所述短文本进行去除噪点和去除停用词。

优选的，所述的步骤b中，分词后的词语的词性特征采用one-hot形式表示；所述词性包括主干名词、其他名词、主干动词、其他词性，对不同词性设置不同的词性权重值，所述词性权重值设置为：主干名词>其他名词>主干动词>其他词性。

优选的，所述的步骤c中，采用Word2vec中的skip-gram模型进行学习每个词语的语义特征。

优选的，所述的步骤e中，所述邻接词向量的TF-IDF权重值，采用相互叠加的所述词语和所述邻接词中的TF-IDF权重值进行比较，取权重最大值作为叠加后的邻接词相邻的TF-IDF权重值。

优选的，所述的步骤b中，计算所有分词后的词语的TF-IDF权重值，进一步对所述TF-IDF权重值进行规范化处理，使得所述词语的权重值之和为1。