[发明专利]一种文本相似度评估方法及装置

权利要求书

1.一种文本相似度评估方法，其特征在于，所述方法包括：

将待评估的两个目标文本分别按语句单元进行分词，得到与各语句单元分别对应的分词集合后，从每个语句单元对应的分词集合中筛选出该语句单元对应的有效分词集合；

统计所述有效分词集合包含的词分别在所述两个目标文本中出现的次数，根据所述次数计算所述两个目标文本的向量余弦值，根据所述向量余弦值确定所述两个目标文本的相似度。

2.根据权利要求1所述的方法，其特征在于，所述将待评估的两个目标文本分别按语句单元进行分词，得到与各语句单元分别对应的分词集合后，从每个语句单元对应的分词集合中筛选该语句单元对应的有效分词集合包括：

分别获得待评估的两个目标文本包括的语句单元，对所述语句单元进行分词处理，获得所述语句单元对应的至少一个分词集合；

确定所述语句单元对应的分词集合包含的词的类型，其中所述词的类型包括单一词和非单一词，分别统计各类型的词在所述语句单元对应的分词集合中的数量；

根据所述词的类型及数量确定所述语句单元对应的有效分词集合。

3.根据权利要求2所述的方法，其特征在于，所述根据所述词的类型及数量确定所述语句单元对应的有效分词集合包括：

如果所述语句单元对应一个分词集合，则所述一个分词集合即为所述语句单元对应的有效分词集合；

如果所述语句单元对应至少两个分词集合，则分别统计所述至少两个分词集合对应的总词数量，所述总词数量为单一词和非单一词的数量之和；

当所述至少两个分词集合对应的总词数量不相等时，从所述至少两个分词集合中选择总词数量最少的分词集合作为所述语句单元对应的有效分词集合；当所述总词数量相等时，从所述至少两个分词集合中选择单一词的数量最少的分词集合为所述语句单元对应的有效分词集合。

4.根据权利要求2或3所述的方法，其特征在于，所述对所述语句单元进行分词处理包括：根据正向最大匹配算法或条件随机场CRF算法对所述语句单元进行分词处理。

5.根据权利要求4所述的方法，其特征在于，所述根据所述次数计算所述两个目标文本的向量余弦值采用如下公式：

其中，Cos_AB为目标文本A和目标文本B的向量余弦值，count_A_i为所述有效分词集合包含的词i在目标文本A中出现的次数，count_B_i为所述有效分词集合包含的词i在目标文本B中出现的次数。

6.根据权利要求4所述的方法，其特征在于，根据所述向量余弦值确定所述目标文本的相似度包括：

从预设的阈值中确定小于等于所述向量余弦值的最小阈值，将所述最小阈值对应的相似度等级作为所述目标文本的相似度等级。

7.一种文本相似度评估装置，其特征在于，所述装置包括：

筛选单元，用于待评估的两个目标文本分别按语句单元进行分词，得到与各语句单元分别对应的分词集合后，从每个语句单元对应的分词集合中筛选该语句单元对应的有效分词集合；

确定单元，用于统计所述有效分词集合包含的词分别在所述两个目标文本中出现的次数，根据所述次数计算所述两个目标文本的向量余弦值，根据所述向量余弦值确定所述两个目标文本的相似度。

8.根据权利要求7所述的装置，其特征在于，所述筛选单元包括：

分词子单元，用于分别获得待评估的两个目标文本包含的语句单元，并对所述语句单元进行分词处理，获得所述语句单元对应的至少一个分词集合；

统计子单元，用于确定所述语句单元对应的分词集合包含的词的类型，所述词的类型包括单一词和非单一词，并分别统计各类型的词在所述语句单元对应的分词集合中的数量；

确定子单元，用于根据所述词的类型及数量确定所述语句单元对应的有效分词集合。