[发明专利]一种文本处理方法及相关装置

说明书

本申请涉及计算机技术领域，提供一种文本处理方法及相关装置，所述方法包括：将第一文本和第二文本输入孪生网络结构的句向量生成模型，得到所述第一文本对应的第一特征向量和所述第二文本对应的第二特征向量；对所述第一特征向量和所述第二特征向量分别进行强特征提取处理，得到所述第一文本对应的第一句向量和所述第二文本对应的第二句向量；对所述第一句向量和所述第二句向量分别进行降维处理，得到所述第一文本对应的第一输出向量和所述第二文本对应的第二输出向量；根据所述第一输出向量和所述第二输出向量，确定所述第一文本和所述第二文本的相似度。本申请实施例的技术方案，能够提高计算文本相似度的效率和准确率。

技术领域

本申请涉及计算机技术领域，尤其涉及一种文本处理方法及相关装置。

背景技术

自然语言处理(natural language processing，NLP)是计算机科学领域与人工智能领域中的一个重要方向。自然语言处理的任务中包括计算文本相似度。

目前，通常使用Bert模型计算文本相似度。但是使用Bert模型计算文本相似度时，需要将两个待比较的文本同时输入两个Bert模型中进行处理，得到待比较文本对应的句向量，根据句向量确定文本相似度，这样会造成较大的计算开销，效率较低。并且，使用Bert模型生成句向量时，通常会丢失文本中的部分较为重要的信息，在确定文本相似度时，准确率较低。

发明内容

本申请提供了一种文本处理方法及相关装置，能够提高计算文本相似度的效率和准确率。

本申请第一方面提供了一种文本处理方法，包括：

将第一文本和第二文本输入孪生网络结构的句向量生成模型，得到所述第一文本对应的第一特征向量和所述第二文本对应的第二特征向量；

对所述第一特征向量和所述第二特征向量分别进行强特征提取处理，得到所述第一文本对应的第一句向量和所述第二文本对应的第二句向量；

对所述第一句向量和所述第二句向量分别进行降维处理，得到所述第一文本对应的第一输出向量和所述第二文本对应的第二输出向量；

根据所述第一输出向量和所述第二输出向量，确定所述第一文本和所述第二文本的相似度。

本申请第二方面提供了一种文本处理装置，包括：

输入模块，用于将第一文本和第二文本输入孪生网络结构的句向量生成模型，得到所述第一文本对应的第一特征向量和所述第二文本对应的第二特征向量；

提取模块，用于对所述第一特征向量和所述第二特征向量分别进行强特征提取处理，得到所述第一文本对应的第一句向量和所述第二文本对应的第二句向量；

降维模块，用于对所述第一句向量和所述第二句向量分别进行降维处理，得到所述第一文本对应的第一输出向量和所述第二文本对应的第二输出向量；

确定模块，用于根据所述第一输出向量和所述第二输出向量，确定所述第一文本和所述第二文本的相似度。

本申请第三方面提供了一种电子设备，所述电子设备包括处理器、存储器、通信接口以及一个或多个程序，其中，所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执行，所述程序包括用于执行本申请第一方面任一方法中的步骤的指令。

本申请第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行以实现本申请第一方面任一方法中所描述的部分或全部步骤。