[发明专利]模型训练方法、对象处理方法及装置、电子设备、介质在审
| 申请号: | 202210088006.3 | 申请日: | 2022-01-25 |
| 公开(公告)号: | CN114418121A | 公开(公告)日: | 2022-04-29 |
| 发明(设计)人: | 刘洋;郭彦东;冯天鹏 | 申请(专利权)人: | OPPO广东移动通信有限公司 |
| 主分类号: | G06N20/00 | 分类号: | G06N20/00;G06N3/04;G06N3/08 |
| 代理公司: | 深圳市隆天联鼎知识产权代理有限公司 44232 | 代理人: | 刘抗美 |
| 地址: | 523860 广东*** | 国省代码: | 广东;44 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 模型 训练 方法 对象 处理 装置 电子设备 介质 | ||
本公开实施例是关于一种模型训练方法、对象处理方法及装置、电子设备、存储介质,涉及计算机技术领域,该模型训练方法包括:获取机器学习模型,所述机器学习模型使用浮点精度训练得到;对所述机器学习模型的权重进行跨层权重正则化处理,得到正则化后的权重;确定推理引擎对应的量化信息,并基于所述量化信息确定多个训练参数;基于所述多个训练参数,对所述机器学习模型对应的正则化后的权重以及特征图进行量化感知训练,以得到训练好的机器学习模型。本公开的技术方案在量化感知训练过程中引入渐进式量化训练,能够提高量化训练的模型精度,得到精度更高的量化推理模型。
技术领域
本公开涉及计算机技术领域,具体而言,涉及一种模型训练方法、模型训练装置、对象处理方法、对象处理装置、电子设备以及计算机可读存储介质。
背景技术
为了减少神经网络所使用的数据量,可以对机器学习模型进行量化训练。
相关技术中,可以对机器学习模型进行离线量化,以对权重进行量化。在这种方式中,仅仅考虑权重量化,具有一定的局限性。除此之外,仅仅对权重进行量化导致量化训练过程中产生的损失较大,因此使得模型的准确性较低,并且计算机运算性能较低,且占用了较多的计算资源。
需要说明的是,在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开的目的在于提供一种模型训练方法、对象处理方法及装置、电子设备、存储介质,进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的模型准确性较低的问题。
本公开的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本公开的实践而习得。
根据本公开的一个方面,提供一种模型训练方法,包括:获取机器学习模型,所述机器学习模型使用浮点精度训练得到;对所述机器学习模型的权重进行跨层权重正则化处理,得到正则化后的权重;确定推理引擎对应的量化信息,并基于所述量化信息确定多个训练参数;基于所述多个训练参数,对所述机器学习模型对应的正则化后的权重以及特征图进行量化感知训练,以得到训练好的机器学习模型。
根据本公开的一个方面,提供一种对象处理方法,包括:获取待处理对象;通过训练好的机器学习模型对所述待处理对象进行卷积操作,获取所述待处理对象对应的预测结果;其中,所述训练好的机器学习模型根据上述任意一项所述的模型训练方法训练得到。
根据本公开的一个方面,提供一种模型训练装置,包括:模型获取模块,用于获取机器学习模型,所述机器学习模型使用浮点精度训练得到;权重处理模块,用于对所述机器学习模型的权重进行跨层权重正则化处理,得到正则化后的权重;量化信息确定模块,用于确定推理引擎对应的量化信息,并基于所述量化信息确定多个训练参数;量化训练模块,用于基于所述多个训练参数对所述机器学习模型对应的正则化后的权重以及特征图进行量化感知训练,以得到训练好的机器学习模型。
根据本公开的一个方面,提供一种对象处理装置,包括:对象获取模块,用于获取待处理对象;预测模块,用于通过训练好的机器学习模型对所述待处理对象进行卷积操作,获取所述待处理对象对应的预测结果;其中,所述机器学习模型根据上述任意一项所述的模型训练方法训练得到。
根据本公开的一个方面,提供一种电子设备,包括:处理器;以及存储器,用于存储所述处理器的可执行指令;其中,所述处理器配置为经由执行所述可执行指令来执行上述任意一项所述的模型训练方法或上述任意一项所述的对象处理方法。
根据本公开的一个方面,提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述任意一项所述的模型训练方法或上述任意一项所述的对象处理方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于OPPO广东移动通信有限公司,未经OPPO广东移动通信有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210088006.3/2.html,转载请声明来源钻瓜专利网。





