[发明专利]一种基于词序加权的句子相似度计算方法

权利要求书

1.一种基于词序加权的句子相似度计算方法，其特征在于，包括以下步骤：

1)利用网络爬虫获取语料集A，根据语义对语料集A中的所有语句添加分类标签，得到形如Label1_i,Sen1_i语料，其中Sen1_i为语料集A中的第i个语句，Label1_i为Sen1_i对应的类别标签，然后利用Word2Vec算法，训练得出语料集A中所有词语的词向量模型；

2)利用步骤1)中获取的语料集A，构建测试语料集B，测试语料集B中形式为Label2_j,Sen2_j,其中Label2_j为语料集A中的一类别，Sen2_j为语料集B中的第j个语句，Sen2_j属于Label2_j类别且与Label2_j类别在语料集A中所对应的语句语义相似，然后结合步骤1)中获取的词向量模型采用增量训练方式，利用Word2Vec算法获得语料集B中所有词语的词向量模型；

3)从步骤1)中语料集A中取得一对Label1₁,Sen1₁，对Sen1₁进行分词处理，并利用步骤2)中所获取的词向量模型取得每个对应分词结果的词向量V_1k,k表示词语位于语句Sen1₁中的位置；

4)根据步骤3)中获取的语句Sen1₁中每个词语对应的词向量V_1k，以及每个词语位于Sen1₁中的位置，计算每个词语的词序权重值weight，并根据词向量V_1k和对应的词序权重值weight获取新的带权重的词向量V_1k’；

5)根据步骤4)中获得的带权重的词向量V_1k’获取语句Sen1₁的句向量SenVec1₁；

6)重复步骤3)至5)，计算语料集A中所有句子的句向量SenVec1_i；

7)重复步骤3)至5)，计算语料集B中所有句子的句向量SenVec2_j；

8)根据步骤6)和步骤7)获取的句向量，依次选取测试语料集B中的语句Sen2_j及其对应的句向量SenVec2_j，分别计算其与语料集A中每个语句Sen1_i的相似度，选取相似度排序最高的语句Sen1_i对应的Label1_i与Label2_j比较，若一致则表示正确，否则将结果以Sen1_i,Sen2_j存储至训练语料集C；

9)将步骤8)中获得的训练语料集C按照SemEval-2017的相似度标注，然后采用LSTM回归模型训练获取新的词向量，利用新训练的词向量更新步骤2)中的词向量模型，然后执行步骤3)，进行下一次语句的相似度计算。

2.根据权利要求1所述的一种基于词序加权的句子相似度计算方法，其特征在于，所述步骤1)中在添加分类标签前还包括：

采用正则匹配方式进行语料集A中多余的标点及网页标签去除，只保留单句语句。

3.根据权利要求1所述的一种基于词序加权的句子相似度计算方法，其特征在于，所述步骤3)中采用HanLp开源的分词器对Sen1₁进行分词处理。

4.根据权利要求1所述的一种基于词序加权的句子相似度计算方法，其特征在于，所述步骤4)中词序权重值weight通过下列公式计算获得：

其中k表示词语位于语句中的位置；Loc表示加权起始位置，λ为常量，其数值范围为1-3。