[发明专利]一种模型压缩方法与存储介质在审
| 申请号： | 202211057187.X | 申请日： | 2022-08-30 |
| 公开（公告）号： | CN115392458A | 公开（公告）日： | 2022-11-25 |
| 发明（设计）人： | 华菁云;罗伊菲;王宇龙;周明 | 申请（专利权）人： | 北京澜舟科技有限公司 |
| 主分类号： | G06N3/08 | 分类号： | G06N3/08;G06N3/04;G06N5/04;G06F40/20 |
| 代理公司： | 深圳市智享知识产权代理有限公司 44361 | 代理人： | 王琴 |
| 地址： | 100000 北京市海*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 一种 模型 压缩 方法 存储 介质 | ||
1.一种模型压缩方法，其特征在于：包括如下步骤：
获取优化模型；
对优化模型沿第一方向压缩获取第一压缩模型；
对第一压缩模型沿第二方向压缩获取第二压缩模型；
对第二压缩模型整体量化获取最终压缩模型。
2.如权利要求1所述的模型压缩方法，其特征在于：获取优化模型包括以下步骤：
获取原始模型；
对原始模型进行微调得到初始优化模型；
对初始优化模型进行蒸馏得到优化模型。
3.如权利要求2所述的模型压缩方法，其特征在于：对初始优化模型进行蒸馏包括以下步骤：
利用隐状态对初始优化模型进行蒸馏；
利用预测终态对初始优化模型进行蒸馏。
4.如权利要求1所述的模型压缩方法，其特征在于：第一方向为纵向，对优化模型沿第一方向压缩通过采用自注意力蒸馏机制对优化模型进行蒸馏实现。
5.如权利要求1所述的模型压缩方法，其特征在于：第二方向为横向，对第一压缩模型沿第二方向压缩的步骤包括：
对第一压缩模型进行横向剪枝；
对第一压缩模型进行蒸馏。
6.如权利要求5所述的模型压缩方法，其特征在于：对第一压缩模型进行横向剪枝包括以下步骤：
对第一压缩模型进行head裁剪；
对第一压缩模型进行神经元裁剪；
对第一压缩模型进行embedding低秩分解。
7.如权利要求5所述的模型压缩方法，其特征在于：对第一压缩模型进行蒸馏包括以下步骤：
利用预测终态对第一压缩模型进行蒸馏。
8.如权利要求1所述的模型压缩方法，其特征在于：获取第二压缩模型之后的步骤还包括：利用优化模型对第二压缩模型蒸馏以加强第二压缩模型的性能。
9.如权利要求1所述的模型压缩方法，其特征在于：对第二压缩模型整体量化的步骤包括：
对优化模型量化获取浮点型的优化模型和整形的优化模型；
对第二压缩模型量化获取整形的第二压缩模型；
利用浮点型的优化模型与整形的优化模型对整形的第二压缩模型进行蒸馏得到最终压缩模型。
10.一种存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现权利要求1-9任一项所述的模型压缩方法。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于北京澜舟科技有限公司，未经北京澜舟科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/202211057187.X/1.html，转载请声明来源钻瓜专利网。
- 上一篇：一种铁路斜交线路双层框架墩的规划方法
- 下一篇：一种数据处理方法及相关产品
