[发明专利]一种模型的训练方法、数据处理方法及设备在审
申请号: | 202110352634.3 | 申请日: | 2021-03-31 |
公开(公告)号: | CN113011568A | 公开(公告)日: | 2021-06-22 |
发明(设计)人: | 何建忠;李蕊煌;贾旭;刘健庄 | 申请(专利权)人: | 华为技术有限公司 |
主分类号: | G06N3/04 | 分类号: | G06N3/04;G06N3/08;G06F17/16 |
代理公司: | 深圳市深佳知识产权代理事务所(普通合伙) 44285 | 代理人: | 王仲凯 |
地址: | 518129 广东*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 模型 训练 方法 数据处理 设备 | ||
1.一种模型的训练方法,其特征在于,包括:
通过模型计算多个源域中的每个源域各自对应的第一相似度矩阵,并通过所述模型计算目标域对应的第二相似度矩阵,每个第一相似度矩阵用于表征各自对应源域的类别中心两两之间的相似度值,所述第二相似度矩阵用于表征所述目标域的伪类别中心两两之间的相似度值,所述类别中心为所述每个源域中样本的真实标签对应类别的中心,所述伪类别中心为所述目标域中样本的伪标签对应类别的中心;
根据每个第一相似度矩阵和所述第二相似度矩阵得到目标张量;
根据第一子损失函数和所述目标张量得到目标损失函数,所述第一子损失函数根据目标任务确定,所述第一子损失函数用于表征输入所述模型的训练样本与输出的预测结果之间的差异,所述训练样本包括来自所述多个源域的样本;
利用所述目标损失函数对所述模型进行迭代训练,直至达到训练终止条件。
2.根据权利要求1所述的方法,其特征在于,所述根据每个第一相似度矩阵和所述第二相似度矩阵得到目标张量包括:
根据每个第一相似度矩阵和所述第二相似度矩阵构建得到第一高阶张量;
对所述第一高阶张量进行低秩约束,得到所述目标张量。
3.根据权利要求2所述的方法,其特征在于,所述对所述第一高阶张量进行低秩约束,得到所述目标张量包括:
对所述第一高阶张量进行旋转操作,得到第二高阶张量;
对所述第二高阶张量进行核范数约束,得到所述目标张量。
4.根据权利要求3所述的方法,其特征在于,所述对所述第二高阶张量进行核范数约束,得到所述目标张量包括:
对所述第二高阶张量进行快速傅里叶变换(FFT),得到第三高阶张量;
在频域中对所述第三高阶张量进行奇异值分解操作,得到分解结果;
对所述分解结果进行最小化约束,得到约束结果;
对所述约束结果进行逆快速傅里叶变换(IFFT),得到所述目标张量。
5.根据权利要求3-4中任一项所述的方法,其特征在于,所述旋转操作包括:
水平旋转操作,或,垂直旋转操作。
6.根据权利要求1-5中任一项所述的方法,其特征在于,所述根据第一子损失函数和所述目标张量得到目标损失函数包括:
根据第一张量取值与所述目标张量构建得到第二子损失函数,所述第一张量取值为向所述模型输入第一训练样本时所述目标张量的值,所述第一训练样本为所述源域中的任意一个样本;
根据所述第一子损失函数和所述第二子损失函数得到所述目标损失函数。
7.根据权利要求1-6中任一项所述的方法,其特征在于,所述达到训练终止条件包括:
达到预设的训练轮次,或,所述目标损失函数收敛,或,所述目标损失函数达到预设阈值。
8.一种数据处理方法,其特征在于,包括:
获取与目标任务相关的输入数据;
通过训练后的模型对所述输入数据进行处理,得到输出数据,所述训练后的模型利用目标损失函数训练得到,所述目标损失函数根据第一子损失函数和目标张量得到,所述目标张量根据每个第一相似度矩阵和第二相似度矩阵得到,所述每个第一相似度矩阵和所述第二相似度矩阵由所述模型计算得到,一个第一相似度矩阵对应一个源域,所述每个第一相似度矩阵用于表征各自对应源域的类别中心两两之间的相似度值,所述第二相似度矩阵用于表征所述目标域的伪类别中心两两之间的相似度值,所述类别中心为所述每个源域中样本的真实标签对应类别的中心,所述伪类别中心为所述目标域中样本的伪标签对应类别的中心。
9.根据权利要求8所述的方法,其特征在于,所述输入数据至少包括如下任意一项:
图像数据、音频数据或文本数据。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于华为技术有限公司,未经华为技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110352634.3/1.html,转载请声明来源钻瓜专利网。