[发明专利]数据处理方法、装置、计算机设备及存储介质

说明书

本申请公开一种数据处理方法、装置、计算机设备及存储介质，包括：获取目标Batch中每两个文本的文本相似度，所述目标Batch包括N个样本，每个样本包括两个文本，N为正整数；根据所述每两个文本的文本相似度以及所述N个样本中每个样本的标签构建相似度矩阵，并根据所述N个样本中每个样本的标签构建标签矩阵；基于所述相似度矩阵以及所述标签矩阵，得到所述目标Batch的损失函数值，并基于所述损失函数值调整目标模型的参数；其中，所述相似度矩阵与所述标签矩阵的行列数相同、且基于相同序列的文本得到的；所述相似度矩阵的一行包括一个同一样本所包含的两个文本相似度；所述标签矩阵的一行包括一个样本的标签。

技术领域

本发明实施例涉及深度学习领域，尤其是一种数据处理方法、装置、计算机设备及存储介质。

背景技术

自然语言处理(Natural Language Processing，NLP)领域中最重要的一个应用问答机器人，问答机器人在获取到用户语音输入的文本内容后，通过检索的方式从问答库中找出与用户语音输入的问题相似度最高的标准问题，然后返回对应的标准问题答案。

在相关技术中，基于深度学习的文本相似度匹配算法主要存在计算量大、训练过程慢、泛化性不强等问题。

发明内容

本发明实施例提供一种能够提高模型的训练速度、增加训练好的模型的泛化性能的数据处理方法、装置、计算机设备及存储介质。

为解决上述技术问题，本发明创造的实施例采用的一个技术方案是：提供一种数据处理方法，

包括：获取目标Batch中每两个文本的文本相似度，所述目标Batch包括N个样本，每个样本包括两个文本，N为正整数；根据所述每两个文本的文本相似度以及所述N个样本中每个样本的标签构建相似度矩阵，并根据所述N个样本中每个样本的标签构建标签矩阵；基于所述相似度矩阵以及所述标签矩阵，得到所述目标Batch的损失函数值，并基于所述损失函数值调整目标模型的参数；其中，所述相似度矩阵与所述标签矩阵的行列数相同、且基于相同序列的文本得到的；所述相似度矩阵的一行包括一个同一样本所包含的两个文本相似度；所述标签矩阵的一行包括一个样本的标签。

在一些方式中，所述获取目标Batch中每两个文本的文本相似度，包括：获取N个样本中每个文本的表征向量；基于所述每个文本的表征向量，得到每两个文本的文本相似度。

在一些方式中，所述根据所述每两个文本的文本相似度构建以及所述N个样本中每个样本的标签构建相似度矩阵，并根据所述N个样本中每个样本的标签构建标签矩阵之前，所述方法还包括：若第一文本与第二文本的相似度大于预设相似度，则将所述第一文本与所述第二文本确定为正样本；若第三文本与第四文本的相似度小于或者等于预设相似度，则将所述第三文本与所述第四文本确定负样本；其中，所述第一文本、所述第二文本、所述第三文本和所述第四文本均为所述N个样本中的文本。

在一些方式中，所述根据所述每两个文本的文本相似度构建以及所述N个样本中每个样本的标签构建相似度矩阵，包括：根据所述N个样本中每个样本的标签，构建所述相似度矩阵的第一辅助列；若第一目标行包括正样本，则将所述第一辅助列在所述第一目标行的值设置为0；若所述第一目标行不存在正样本，则将所述第一辅助列在所述第一目标行的值设置为所述预设相似度；其中，所述第一目标行为所述相似度矩阵中的任一行。

在一些方式中，所述根据所述N个样本中每个样本的标签构建标签矩阵，包括：根据所述N个样本中每个样本的标签，构建所述标签矩阵的第二辅助列；若第二目标行包括正样本，则将所述第一辅助列在所述第一目标行的值设置为0；若所述第二目标行不存在正样本，则将所述第一辅助列在所述第一目标行的值设置为1；其中，所述第二目标行为所述标签矩阵中的任一行。