[发明专利]数据处理方法、装置、计算机设备及存储介质在审
申请号: | 202110700948.8 | 申请日: | 2021-06-23 |
公开(公告)号: | CN113434671A | 公开(公告)日: | 2021-09-24 |
发明(设计)人: | 陈庆伟 | 申请(专利权)人: | 平安国际智慧城市科技股份有限公司 |
主分类号: | G06F16/35 | 分类号: | G06F16/35;G06K9/62 |
代理公司: | 北京中强智尚知识产权代理有限公司 11448 | 代理人: | 黄耀威 |
地址: | 518000 广东省深圳市前海深港合*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据处理 方法 装置 计算机 设备 存储 介质 | ||
1.一种数据处理方法,其特征在于,包括:
获取目标Batch中每两个文本的文本相似度,所述目标Batch包括N个样本,每个样本包括两个文本,N为正整数;
根据所述每两个文本的文本相似度以及所述N个样本中每个样本的标签构建相似度矩阵,并根据所述N个样本中每个样本的标签构建标签矩阵;
基于所述相似度矩阵以及所述标签矩阵,得到所述目标Batch的损失函数值,并基于所述损失函数值调整目标模型的参数;
其中,所述相似度矩阵与所述标签矩阵的行列数相同、且基于相同序列的文本得到的;所述相似度矩阵的一行包括一个同一样本所包含的两个文本相似度;所述标签矩阵的一行包括一个样本的标签。
2.根据权利要求1所述的方法,其特征在于,所述获取目标Batch中每两个文本的文本相似度,包括:
获取N个样本中每个文本的表征向量;
基于所述每个文本的表征向量,得到每两个文本的文本相似度。
3.根据权利要求1所述的方法,其特征在于,所述根据所述每两个文本的文本相似度构建以及所述N个样本中每个样本的标签构建相似度矩阵,并根据所述N个样本中每个样本的标签构建标签矩阵之前,所述方法还包括:
若第一文本与第二文本的相似度大于预设相似度,则将所述第一文本与所述第二文本确定为正样本;
若第三文本与第四文本的相似度小于或者等于预设相似度,则将所述第三文本与所述第四文本确定负样本;
其中,所述第一文本、所述第二文本、所述第三文本和所述第四文本均为所述N个样本中的文本。
4.根据权利要求3所述的方法,其特征在于,所述根据所述每两个文本的文本相似度构建以及所述N个样本中每个样本的标签构建相似度矩阵,包括:
根据所述N个样本中每个样本的标签,构建所述相似度矩阵的第一辅助列;
若第一目标行包括正样本,则将所述第一辅助列在所述第一目标行的值设置为0;
若所述第一目标行不存在正样本,则将所述第一辅助列在所述第一目标行的值设置为所述预设相似度;
其中,所述第一目标行为所述相似度矩阵中的任一行。
5.根据权利要求4所述的方法,其特征在于,所述根据所述N个样本中每个样本的标签构建标签矩阵,包括:
根据所述N个样本中每个样本的标签,构建所述标签矩阵的第二辅助列;
若第二目标行包括正样本,则将所述第一辅助列在所述第一目标行的值设置为0;
若所述第二目标行不存在正样本,则将所述第一辅助列在所述第一目标行的值设置为1;
其中,所述第二目标行为所述标签矩阵中的任一行。
6.根据权利要求5所述的方法,其特征在于,所述基于所述相似度矩阵以及所述标签矩阵,计算所述目标Batch的损失函数值,包括:
基于目标调整系数调整所述相似度矩阵中每行的值,调整后的相似度矩阵的每行所包含的相似度的和接近于1;
获取调整后的相似度矩阵与所述标签矩阵的交叉熵,并基于所述交叉熵得到所述目标Batch的损失函数值。
7.根据权利要求4至6中任一项所述的方法,其特征在于,所述基于所述损失函数值调整目标模型的参数,包括:
在所述目标样本为负样本,且所述目标样本的标签为1的情况下,基于随机梯度下降方法生成调整阈值,根据所述调整阈值调整所述目标模型的参数,以调整所述目标样本中两个文本的相似度。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于平安国际智慧城市科技股份有限公司,未经平安国际智慧城市科技股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110700948.8/1.html,转载请声明来源钻瓜专利网。
- 上一篇:装配式接头压力防水测试试验系统
- 下一篇:釜塔一体式废油再生装置