[发明专利]确定相似文本信息的方法、装置、电子设备及存储介质

权利要求书

1.一种确定相似文本信息的方法，其特征在于，包括：

针对多个待处理文本信息，依据各个待处理文本信息的语义向量，确定所述各个待处理文本信息两两之间的语义相似度；

根据所述语义相似度，确定与各个待处理文本信息分别语义对应的所述多个待处理文本信息中的至少一个其他待处理文本信息；

对各个待处理文本信息以及与各个待处理文本信息分别语义对应的所述多个待处理文本信息中的至少一个其他待处理文本信息，进行过滤处理，并将每一待处理文本信息与其对应的过滤结果确定为相似文本信息对，其中，所述过滤处理包括实体过滤处理、上下文过滤处理以及异常文本过滤处理。

2.根据权利要求1所述的方法，其特征在于，依据各个待处理文本信息的语义向量，确定任两个待处理文本信息之间的语义相似度，包括：

计算任两个待处理文本信息的语义向量之间的向量夹角，并将所述向量夹角作为所述任两个待处理文本信息之间的语义相似度；

根据所述语义相似度，确定与任一待处理文本信息分别语义对应的所述多个待处理文本信息中的至少一个其他待处理文本信息，包括：

若任一待处理文本信息与另一待处理文本信息的语义向量之间的向量夹角大于预设第一阈值，则确定所述另一待处理文本信息为所述任一待处理文本信息语义对应的其他待处理文本信息。

3.根据权利要求1所述的方法，其特征在于，对任一待处理文本信息以及与任一待处理文本信息分别语义对应的所述多个待处理文本信息中的至少一个其他待处理文本信息，进行过滤处理，包括：

对与任一待处理文本信息语义对应的所述多个待处理文本信息中的至少一个其他待处理文本信息，进行实体过滤处理，得到该任一待处理文本信息对应的第一中间过滤结果；

对该任一待处理文本信息对应的第一中间过滤结果进行上下文过滤处理，得到该任一待处理文本信息对应的第二中间过滤结果；

过滤该任一待处理文本信息对应的第二中间过滤结果中的异常文本信息，得到该任一待处理文本信息对应的过滤结果。

4.根据权利要求3所述的方法，其特征在于，所述对与任一待处理文本信息语义对应的所述多个待处理文本信息中的至少一个其他待处理文本信息，进行实体过滤处理，包括：

基于预设实体列表进行文本信息查询，过滤属于所述预设实体列表中的其他待处理文本信息。

5.根据权利要求3所述的方法，其特征在于，所述对该任一待处理文本信息对应的第一中间过滤结果进行上下文过滤处理，包括：

计算该任一待处理文本信息和其对应的第一中间过滤结果之间的上下文概率分数；

将所述上下文概率分数大于预设第二阈值的第一中间过滤结果进行过滤。

6.根据权利要求1所述的方法，其特征在于，所述将每一待处理文本信息与其对应的过滤结果确定为相似文本信息对，包括：

将每一待处理文本信息与其对应的过滤结果进行去重处理，并将去重结果确定为相似文本信息对。

7.根据权利要求1所述的方法，其特征在于，确定各个待处理文本信息的语义向量的方式，包括：

利用预设词向量模型得到各个待处理文本信息对应的语义向量。

8.一种确定相似文本信息的装置，其特征在于，包括：

第一确定模块，用于针对多个待处理文本信息，依据各个待处理文本信息的语义向量，确定所述各个待处理文本信息两两之间的语义相似度；

第二确定模块，用于根据所述语义相似度，确定与各个待处理文本信息分别语义对应的所述多个待处理文本信息中的至少一个其他待处理文本信息；

过滤确定模块，用于对各个待处理文本信息以及与各个待处理文本信息分别语义对应的所述多个待处理文本信息中的至少一个其他待处理文本信息，进行过滤处理，并将每一待处理文本信息与其对应的过滤结果确定为相似文本信息对，其中，所述过滤处理包括实体过滤处理、上下文过滤处理以及异常文本过滤处理。