[发明专利]数据源质量评估方法、装置、设备及计算机可读存储介质在审
申请号: | 202210080607.X | 申请日: | 2022-01-24 |
公开(公告)号: | CN114298328A | 公开(公告)日: | 2022-04-08 |
发明(设计)人: | 何元钦;康焱;骆家焕 | 申请(专利权)人: | 深圳前海微众银行股份有限公司 |
主分类号: | G06N20/00 | 分类号: | G06N20/00;G06F21/60;G06F21/62 |
代理公司: | 北京派特恩知识产权代理有限公司 11270 | 代理人: | 王花丽;张颖玲 |
地址: | 518052 广东省深圳市*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据源 质量 评估 方法 装置 设备 计算机 可读 存储 介质 | ||
1.一种数据源质量评估方法,其特征在于,基于联邦学习系统,所述联邦学习系统包括第一参与方设备及至少一个待评估的第二参与方设备,所述方法应用于第一参与方设备,所述方法包括:
获取所述第一参与方设备持有的第一特征数据和所述第二参与方设备发送的加密特征,所述加密特征是由所述第二参与方设备对待评估的数据源中的第二特征数据进行加密处理得到的;
基于所述第一特征数据和所述加密特征对预设的第一模型进行训练,得到训练好的第一模型;
获取所述第一参与方设备持有的测试数据,基于所述测试数据和所述训练好的第一模型确定测试结果;
基于所述测试结果,确定所述待评估的数据源的评估结果。
2.根据权利要求1所述的方法,其特征在于,所述基于所述第一特征数据和所述加密特征对预设的第一模型进行训练,得到训练好的第一模型,包括:
利用预设的第一模型对所述第一特征数据进行投影处理,得到投影特征;
利用预设的损失函数对所述投影特征和所述加密特征进行处理,确定所述第一特征数据对应的相似度损失和;
将所述相似度损失和反向传播至所述预设的第一模型,以对所述预设的第一模型的参数进行调整,得到训练好的第一模型。
3.根据权利要求2所述的方法,其特征在于,所述利用预设的第一模型对所述第一特征数据进行投影处理,得到投影特征,包括:
获取预设的第一模型,所述预设的第一模型包括初始第一子模型和初始第二子模型;
利用所述初始第一子模型对所述第一特征数据进行处理,得到所述第一特征数据对应的目标特征;
利用所述初始第二子模型对所述目标特征进行投影处理,得到投影特征。
4.根据权利要求1所述的方法,其特征在于,所述基于所述测试数据和所述训练好的第一模型确定测试结果,包括:
当所述第一参与方设备持有标签数据时,获取训练数据和所述训练数据对应的标签数据;
基于所述训练数据和所述训练数据对应的标签数据对初始第一分类模型进行训练,得到训练好的第一分类模型,所述初始第一分类模型基于所述预设的第一模型和预设的第一分类器构建得到;
基于所述训练数据和所述训练数据对应的标签数据对初始第二分类模型进行训练,得到训练好的第二分类模型,所述初始第二分类模型基于所述训练好的第一模型和预设的第二分类器构建得到;
基于所述测试数据、所述训练好的第一分类模型和所述训练好的第二分类模型,确定测试结果。
5.根据权利要求4所述的方法,其特征在于,所述基于所述测试数据、所述训练好的第一分类模型和所述训练好的第二分类模型,确定测试结果,包括:
获取所述测试数据对应的标签数据;
基于所述测试数据和所述测试数据对应的标签数据,对所述训练好的第一分类模型进行测试,得到参考值;
基于所述测试数据和所述测试数据对应的标签数据,对所述训练好的第二分类模型进行测试,得到测试值;
对所述参考值和所述测试值进行比较,得到测试结果。
6.根据权利要求1所述的方法,其特征在于,所述基于所述测试数据和所述训练好的第一模型确定测试结果,包括:
获取训练数据和标签类别个数K,并基于所述标签类别个数K对所述训练数据进行聚类,得到K个聚类中心;
将所述训练数据输入至所述训练好的第一模型,得到训练特征,对所述训练特征进行聚类,得到N个聚类中心;其中,K、N为正整数;
基于所述测试数据、所述K个聚类中心和所述N个聚类中心,确定测试结果。
7.根据权利要求6所述的方法,其特征在于,所述基于所述测试数据、所述K个聚类中心和所述N个聚类中心,确定测试结果,包括:
确定所述测试数据与所述K个聚类中心之间的参考聚类误差;
确定所述测试数据与所述N个聚类中心之间的测试聚类误差;
对所述参考聚类误差和所述测试聚类误差进行比较,得到测试结果。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于深圳前海微众银行股份有限公司,未经深圳前海微众银行股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210080607.X/1.html,转载请声明来源钻瓜专利网。