[发明专利]一种文本检索方法、系统、设备及存储介质

权利要求书

1.一种文本检索方法，其特征在于，包括如下步骤：

S1.利用Bert结构的预训练语言模型作为编码器，通过编码器对一批标注过后的相似句进行自注意力和局部掩码处理，具体包括：将一批经过标注处理的相似句输入Bert中，利用注意力层进行局部掩码；

S2.对网络最后一层的最终编码进行最大池化和平均池化并对两个结果进行拼接，通过softmax函数以及交叉熵计算编码器的损失函数，根据损失函数指导编码器的训练；

S3.给定输入，通过数据增强的方式构造正样本，将以及输入编码器进行拟合训练，得到两个表示向量和；

S4.分别计算所述表示向量与批内其他向量的相似度，以该相似度作为检索匹配分数对候选文本进行排序，通过softmax函数以及交叉熵计算模型的最终损失函数，根据最终损失函数指导网络参数的迭代训练；

S5.基于训练好的模型进行文本检索。

2.如权利要求1所述的文本检索方法，其特征在于，所述预训练语言模型采用Bert、Roberta或tiny_bert其中之一。

3.如权利要求1所述的文本检索方法，其特征在于，所述将一批经过标注处理的相似句输入Bert中，利用注意力层进行局部掩码，表达式如下：

上式中，，其中分别表示的向量序列，表示网络层，表示上一层的输出，表示可训练的参数，表示的向量两两做内积，表示编码的维度数量，表示归一化函数，表示是否进行，指矩阵，V_l表示在网络层l进行attention操作时，输入的V。

4.如权利要求1所述的文本检索方法，其特征在于，所述对网络最后一层的最终编码进行最大池化和平均池化并对两个结果进行拼接的表达式如下：

上式中，表示权重参数，表示网络最后一层的最终编码，表示最大池化操作，表示平均池化操作；

所述通过softmax函数以及交叉熵计算编码器的损失函数的表达式如下：

上式中，表示交叉熵损失函数，表示相似句子对对应的真实标签。

5.如权利要求1所述的文本检索方法，其特征在于，所述数据增强的方式包括但不限于同义词替换、句子截断、反向翻译、增加标点符号、删除不重要的单词和语序重排其中的一种。

6.如权利要求1所述的文本检索方法，其特征在于，所述通过数据增强的方式采用同义词替换，其中，所述通过数据增强的方式构造正样本包括：

对进行切词，并从中挑选出现在同义词数据集中的词组成集；

生成一个小于集长度的随机数，利用均匀分布从集中进行同义词替换，表达式如下：

上式中，表示集的长度。

7.如权利要求1所述的文本检索方法，其特征在于，所述通过softmax函数以及交叉熵计算模型的最终损失函数，所得到的最终损失函数表示为：

上式中，表示指标，仅当i = j时等于1，表示批内句子总数，表示温度超参，表示余弦相似度，表示余弦相似度，表示余弦相似度，表示正样本的表示向量，表示负样本的表示向量，表示模型的训练参数。