[发明专利]数据处理方法、装置、存储介质及电子设备有效
| 申请号: | 201910713784.5 | 申请日: | 2019-08-02 |
| 公开(公告)号: | CN110490237B | 公开(公告)日: | 2022-05-17 |
| 发明(设计)人: | 罗彤 | 申请(专利权)人: | OPPO广东移动通信有限公司;上海瑾盛通信科技有限公司 |
| 主分类号: | G06K9/62 | 分类号: | G06K9/62;G06N3/04;G06N3/08 |
| 代理公司: | 深圳翼盛智成知识产权事务所(普通合伙) 44300 | 代理人: | 黄威 |
| 地址: | 523860 广东*** | 国省代码: | 广东;44 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 数据处理 方法 装置 存储 介质 电子设备 | ||
1.一种数据处理方法,其特征在于,包括:
获取多个数据,所述多个数据携带有相同的类别标签;
当确定出所述多个数据为图片时,获取第一模型,所述第一模型为根据ImageNet训练得到的ResNet模型;利用所述多个数据对所述ResNet模型进行学习训练,得到第二模型;将位于所述第二模型最后一层的全连接层移除得到第三模型,并将所述第三模型确定为预设特征提取模型;
将所述多个数据划分为第一数据集和第二数据集;
利用所述预设特征提取模型,提取所述第一数据集和所述第二数据集中每一数据的特征;
获取所述第二数据集中每一数据的类别标签的正确与否信息;
根据所述第二数据集中每一数据的类别标签的正确与否信息以及每一数据的特征,训练预设的二分类模型,得到目标模型;
将所述第一数据集中每一数据的特征输入到所述目标模型中,利用所述目标模型输出所述第一数据集中每一数据的类别标签的正确与否信息,得到所述第一数据集中类别标签被判定为正确的数据,并将所述第一数据集中类别标签被判定为正确的数据确定为第一目标数据;
根据所述第一目标数据以及所述第二数据集中类别标签正确的数据,得到第二目标数据。
2.根据权利要求1所述的数据处理方法,其特征在于,利用所述预设特征提取模型,提取所述第一数据集和所述第二数据集中每一数据的特征,包括:
当电子设备的计算能力低于预设阈值时,利用所述预设特征提取模型,提取所述第一数据集和所述第二数据集中每一数据的特征。
3.根据权利要求2所述的数据处理方法,其特征在于,所述方法还包括:
当所述电子设备的计算能力不低于所述预设阈值时,获取第四模型,并利用所述第四模型提取所述第一数据集和所述第二数据集中每一数据的特征,其中所述第四模型的特征提取精度高于所述预设特征提取模型。
4.根据权利要求1所述的数据处理方法,其特征在于,所述第一数据集和所述第二数据集中包含的数据的数量比为预设比值,且所述第一数据集中包含的数据的数量大于所述第二数据集。
5.根据权利要求1所述的数据处理方法,其特征在于,所述方法还包括:
利用所述目标模型以及所述第一数据集中每一数据的特征,获取所述第一数据集中类别标签被判定为错误的第三目标数据;
将所述第三目标数据以及所述第二数据集中类别标签错误的数据删除。
6.根据权利要求1所述的数据处理方法,其特征在于,所述预设的二分类模型至少包括支持向量机、多层感知机、决策树或随机森林。
7.一种数据处理装置,其特征在于,包括:
第一获取模块,用于获取多个数据,所述多个数据携带有相同的类别标签;其中,当确定出所述多个数据为图片时,获取第一模型,所述第一模型为根据ImageNet训练得到的ResNet模型;利用所述多个数据对所述ResNet模型进行学习训练,得到第二模型;将位于所述第二模型最后一层的全连接层移除得到第三模型,并将所述第三模型确定为预设特征提取模型;
划分模块,用于将所述多个数据划分为第一数据集和第二数据集;
提取模块,用于利用所述预设特征提取模型,提取所述第一数据集和所述第二数据集中每一数据的特征;
第二获取模块,用于获取所述第二数据集中每一数据的类别标签的正确与否信息;
训练模块,用于根据所述第二数据集中每一数据的类别标签的正确与否信息以及每一数据的特征,训练预设的二分类模型,得到目标模型;
第三获取模块,用于将第一数据集中每一数据的特征输入到所述目标模型中,利用所述目标模型输出所述第一数据集中每一数据的类别标签的正确与否信息,得到所述第一数据集中类别标签被判定为正确的数据,并将所述第一数据集中类别标签被判定为正确的数据确定为第一目标数据;
处理模块,用于根据所述第一目标数据以及所述第二数据集中类别标签正确的数据,得到第二目标数据。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于OPPO广东移动通信有限公司;上海瑾盛通信科技有限公司,未经OPPO广东移动通信有限公司;上海瑾盛通信科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910713784.5/1.html,转载请声明来源钻瓜专利网。





