[发明专利]一种文本检索方法、系统、设备及存储介质

说明书

本发明提供了一种文本检索方法、系统、设备及存储介质，步骤如下：利用预训练语言模型作为编码器，通过编码器对一批标注过后的相似句对进行自注意力和掩码处理；对最终编码进行池化处理，根据交叉熵损失函数指导训练；通过数据增强为输入构造正样本，将及输入编码器，得到表示向量和；计算表示向量与批内其他向量的相似度，根据相似度对候选文本排序，通过最终损失函数指导网络参数的迭代训练；基于训练好的模型进行文本检索。本申请通过加入有标注样本的有监督训练，可增强模型的泛化能力；基于注意力掩码机制，模型本身会有相似度文本推理能力；基于对比学习，用无监督的方式使得模型具有文本检索的能力。

技术领域

本发明涉及自然语言处理技术领域，具体而言，涉及一种文本检索方法、系统、设备及存储介质。

背景技术

在当前互联网下，搜索已经成为人们了解世界的主要方式，而搜索最核心的则是文本的相关性的判定。之前的文本相似性的判定，主要通过标注相似文本对，让模型进行有监督的训练，比如传统的双塔模型DSSM, ESIM等等都是如此，然而上述方法至少存在以下缺点：（1）标注会消耗大量的人力，不适用于大规模的文本检索任务，比如百度搜索；（2）不适用领域外数据，因为其数据分布和标注不相符；（3）模型更新会非常困难，自然语言日新月异，涉及到新词时，就需要再标注，再训练才能够完成文本检索。

发明内容

本发明的目的在于提供一种文本检索方法、系统、设备及存储介质，只需少量标注数据用于有监督学习，并用对比学习的方式在大批量的数据集上进行无监督训练，适用于全领域文本检索，旨在解决背景技术中所指出的问题。

本发明的实施例通过以下技术方案实现：一种文本检索方法，包括如下步骤：

S1.利用预训练语言模型作为编码器，通过编码器对一批标注过后的相似句进行自注意力和局部掩码处理；

S2.对网络最后一层的最终编码进行最大池化和平均池化并对两个结果进行拼接，通过softmax函数以及交叉熵计算编码器的损失函数，根据损失函数指导编码器的训练；

S3.给定输入，通过数据增强的方式构造正样本，将以及输入编码器进行拟合训练，得到两个表示向量和；

S4.分别计算所述表示向量与批内其他向量的相似度，以该相似度作为检索匹配分数对候选文本进行排序，通过softmax函数以及交叉熵计算模型的最终损失函数，根据最终损失函数指导网络参数的迭代训练；

S5.基于训练好的模型进行文本检索。

进一步地，所述预训练语言模型采用Bert、Roberta或tiny_bert其中之一。

根据一种优选实施方式，所述预训练语言模型采用Bert结构，其中，所述通过编码器对一批标注过后的相似句进行自注意力和局部掩码处理包括：

将一批经过标注处理的相似句输入Bert中，利用注意力层进行局部掩码，表达式如下：

上式中，，其中分别表示的向量序列，表示网络层，表示上一层的输出，表示可训练的参数，表示的向量两两做内积，表示编码的维度数量，表示归一化函数，表示是否进行，指矩阵，V_l表示在网络层l进行attention操作时，输入的V。

根据一种优选实施方式，所述对网络最后一层的最终编码进行最大池化和平均池化并对两个结果进行拼接的表达式如下：

上式中，表示权重参数，表示网络最后一层的最终编码，表示最大池化操作，表示平均池化操作；

所述通过softmax函数以及交叉熵计算编码器的损失函数的表达式如下：