[发明专利]确定相似文本信息的方法、装置、电子设备及存储介质

说明书

本申请实施例提供了一种确定相似文本信息的方法、装置、电子设备及存储介质。该方法包括：针对多个待处理文本信息，依据各个待处理文本信息的语义向量，确定各个待处理文本信息两两之间的语义相似度，根据语义相似度，确定与各个待处理文本信息分别语义对应的多个待处理文本信息中的至少一个其他待处理文本信息，对各个待处理文本信息以及与各个待处理文本信息分别语义对应的多个待处理文本信息中的至少一个其他待处理文本信息，进行过滤处理，并将每一待处理文本信息与其对应的过滤结果确定为相似文本信息对。本申请实施例的相似文本信息对是通过机器处理得到的，具有统一的标准，且节省了人力、财力和时间，能有效降低成本。

技术领域

本申请涉及互联网信息技术领域，具体而言，本申请涉及一种确定相似文本信息的方法、装置、电子设备及存储介质。

背景技术

深度学习是机器学习的技术和研究领域之一，通过建立具有阶层结构的人工神经网络，在计算系统中实现人工智能。在人工智能问答领域，句子的相似度计算是保证回答准确率的核心。相似度计算主要依赖于各种深刻学习模型的训练，而训练这些深度学习模型需要有足够量的训练文本信息支撑。

通常情况下，深度学习模型训练文本信息的量级至少要在千万级以上，才能保证训练得到的深度学习模型准确率较高。这些用于训练深度学习模型的训练文本信息被称作平行语料。平行语料指的是相似文本信息对，也叫做正例对。如“创业板怎么开通”和“创业板的开通方法”就是一个正例对。

平行语料的构建已经成为决定深度学习模型效果的核心因素，如何快速有效的构建千万级的平行语料库，成为困扰业内大部分智能客服厂商的主要问题。在现有技术中，平行语料的构建基本采用人工标注的方式进行，需要耗费大量的人力财力和时间，成本居高不下。而且由于每个数据标注员的标准很难达到统一，所以导致标注出来的平行语料库存在标准不一致的情况，影响模型训练效果。

发明内容

本申请的目的旨在至少能解决上述的技术缺陷之一，特别是人工标注平行语料的成本较高的技术缺陷。

第一方面，提供了一种确定相似文本信息的方法，该方法包括：

针对多个待处理文本信息，依据各个待处理文本信息的语义向量，确定各个待处理文本信息两两之间的语义相似度；

根据语义相似度，确定与各个待处理文本信息分别语义对应的多个待处理文本信息中的至少一个其他待处理文本信息；

对各个待处理文本信息以及与各个待处理文本信息分别语义对应的多个待处理文本信息中的至少一个其他待处理文本信息，进行过滤处理，并将每一待处理文本信息与其对应的过滤结果确定为相似文本信息对。

第二方面，提供了一种确定相似文本信息的装置，该装置包括：

第一确定模块，用于针对多个待处理文本信息，依据各个待处理文本信息的语义向量，确定各个待处理文本信息两两之间的语义相似度；

第二确定模块，用于根据语义相似度，确定与各个待处理文本信息分别语义对应的多个待处理文本信息中的至少一个其他待处理文本信息；

过滤确定模块，用于对各个待处理文本信息以及与各个待处理文本信息分别语义对应的多个待处理文本信息中的至少一个其他待处理文本信息，进行过滤处理，并将每一待处理文本信息与其对应的过滤结果确定为相似文本信息对。

第三方面，提供了一种电子设备，该电子设备包括：

一个或多个处理器；

存储器；

一个或多个应用程序，其中一个或多个应用程序被存储在存储器中并被配置为由一个或多个处理器执行，一个或多个程序配置用于：执行上述的确定相似文本信息的方法。