[发明专利]一种基于词序加权的句子相似度计算方法

说明书

本发明提供了一种基于词序加权的句子相似度计算方法。包括：获取形式为Label1_i,Sen1_i语料集A，训练得出语料集A中所有词语的词向量模型；构建形式为Label2_j,Sen2_j的测试语料集B，采用增量训练方式获得语料集B中Sen2_j所有词语的词向量模型；根据语料集B所获取的词向量模型采用词序加权方式获取语句Sen1_i和Sen2_j的句向量SenVec1_i和SenVec2_j；逐一计算一条Sen2_j与每个语句Sen1_i的相似度，将相似度最高的语句Sen1_i对应的Label1_i与Label2_j比较，一致则正确，否则以Sen1_i,Sen2_j存储至训练语料集C；将训练语料集C进一步处理获取新的词向量模型，以进行下次语句的相似度计算。通过上述步骤提高了句子相似度计算的准确率。

技术领域

本发明涉及计算机技术领域下的自然语言处理技术领域。尤其涉及一种基于词序加权的句子相似度的计算方法。

背景技术

句子相似度计算是自然语言处理领域中非常重要的基本问题，在自然语言处理领域的很多方面都有着广泛的应用。例如，在基于机器翻译中，使用文本相似度衡量文本中的词语的替换程度；在问答系统(FAQ)中，使用相似度进行问句检索，计算问题用户问题与知识库中知识的匹配程度。在相关领域中，相似度计算一直都是研究者们关注的重要课题。

在对统计语言模型进行研究的背景下，Google公司在2013年开放了Word2vec这一款用于训练词向量的软件工具。Word2vec可以根据给定的语料库，通过优化后的训练模型快速有效地将一个词语表达成向量形式，为自然语言处理领域的应用研究提供了新的工具。

发明内容

本发明的目的旨在克服现有技术存在的问题，从而提供了一种基于词序加权的句子相似度的计算方法。

为实现上述目的，本发明提供了。该方法包括以下步骤:

1)利用网络爬虫获取语料集A，根据语义对语料集A中的所有语句添加分类标签，得到型如Label1_i,Sen1_i语料，其中Sen1_i为语料集A中的单句语句，Label1_i为Sen1_i对应的类别标签，然后利用Word2Vec算法，训练得出语料A中所有词语的词向量模型；

2)利用步骤1)中获取的语料集A，构建测试语料集B，测试语料集B中形式为Label2_j,Sen2_j,其中Label2_j为语料集A中的一类别，Sen2_j属于Label2_j类别且与Label2_j类别在语料集A中所对应的语句语义相似，然后结合步骤1)中获取的词向量模型采用增量训练方式，利用Word2Vec算法获得语料集B中所有词语的词向量模型；

3)从步骤1)中语料集A中取得一对Label1₁,Sen1₁，对Sen1₁进行分词处理，并利用步骤2)中所获取的词向量模型取得每个对应分词结果的词向量V_1k,k表示词语位于语句Sen1₁中的位置；

4)根据步骤3)中获取的语句Sen1₁中每个词语对应的词向量V_1k，以及每个词语位于Sen1₁中的位置，计算每个词语的词序权重值weight，并根据词向量V_1k和对应的词序权重值weight获取新的带权重的词向量V_1k’；