[发明专利]数据处理方法、装置、电子设备及存储介质有效
申请号: | 201810866737.X | 申请日: | 2018-08-01 |
公开(公告)号: | CN109189767B | 公开(公告)日: | 2021-07-23 |
发明(设计)人: | 康丽萍 | 申请(专利权)人: | 北京三快在线科技有限公司 |
主分类号: | G06F16/215 | 分类号: | G06F16/215;G06K9/62;G06Q10/06;G06Q50/12 |
代理公司: | 北京润泽恒知识产权代理有限公司 11319 | 代理人: | 莎日娜 |
地址: | 100083 北京市海*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据处理 方法 装置 电子设备 存储 介质 | ||
1.一种数据处理方法,其特征在于,包括:
基于训练数据训练目标模型,其中,所述训练数据包括预置标签,所述训练数据为图像,所述预置标签为所述图像的图像质量等级;
通过所述目标模型对测试数据进行预测,确定所述目标模型的预测准确率,其中,所述测试数据为图像;
通过所述目标模型对所述训练数据进行预测,确定每条所述训练数据的预测标签和预测结果置信度,所述预测标签为预测得到的图像质量等级;
根据所述训练数据的预置标签、预测标签和预测结果置信度,以及所述预测准确率,对所述训练数据进行处理;
所述根据所述训练数据的预置标签、预测标签和预测结果置信度,以及所述预测准确率,对所述训练数据进行处理的步骤,包括:
将预测结果表现异常的所述训练数据按照所述预置标签和所述预测标签的两两组合进行分类,确定若干组异常训练数据,其中,所述预测结果表现异常的所述训练数据包括:所述预置标签和所述预测标签不同的所述训练数据;
对于每组所述异常训练数据,分别确定所述预测结果置信度满足预设第一数据处理条件的所述异常训练数据为噪声数据,其中,所述预设第一数据处理条件根据所述预测准确率确定。
2.根据权利要求1所述的方法,其特征在于,所述根据所述训练数据的预置标签、预测标签和预测结果置信度,以及所述预测准确率,对所述训练数据进行处理的步骤之后,还包括:
基于所述训练数据中除所述噪声数据以外的所述训练数据,优化所述目标模型。
3.根据权利要求1所述的方法,其特征在于,所述根据所述训练数据的预置标签、预测标签和预测结果置信度,以及所述预测准确率,对所述训练数据进行处理的步骤,包括:
对于每组所述异常训练数据,分别确定所述预测结果置信度满足预设第二数据处理条件的所述异常训练数据为易混淆训练数据,其中,所述预设第二数据处理条件根据所述预测准确率确定。
4.根据权利要求3所述的方法,其特征在于,所述根据所述训练数据的预置标签、预测标签和预测结果置信度,以及所述预测准确率,对所述训练数据进行处理的步骤之后,还包括:
基于所述易混淆训练数据,优化所述目标模型。
5.根据权利要求4所述的方法,其特征在于,所述基于所述易混淆训练数据,优化所述目标模型的步骤,包括:
根据所述预测结果置信度,分别确定每组所述异常训练数据中所述易混淆训练数据匹配的预测难易程度;
按照所述预测难易程度由易到难的顺序,基于与所述预测难易程度匹配的所述易混淆训练数据,迭代优化所述目标模型。
6.根据权利要求4所述的方法,其特征在于,所述基于所述易混淆训练数据,优化所述目标模型的步骤,包括:
确定所述易混淆训练数据的相似训练数据,其中,所述相似训练数据的预置标签与所述易混淆数据的预测标签相同;
基于所述相似训练数据和所述易混淆数据构建相似训练数据对;
基于所述相似训练数据对优化所述目标模型。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京三快在线科技有限公司,未经北京三快在线科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810866737.X/1.html,转载请声明来源钻瓜专利网。