[发明专利]一种定向引导模型剪枝方法、系统、设备及存储介质在审
| 申请号： | 202110214943.4 | 申请日： | 2021-02-25 |
| 公开（公告）号： | CN112966818A | 公开（公告）日： | 2021-06-15 |
| 发明（设计）人： | 不公告发明人 | 申请（专利权）人： | 苏州臻迪智能科技有限公司 |
| 主分类号： | G06N3/08 | 分类号： | G06N3/08;G06N3/04 |
| 代理公司： | 北京超凡宏宇专利代理事务所(特殊普通合伙) 11463 | 代理人： | 钟扬飞 |
| 地址： | 215500 江苏省苏州市常*** | 国省代码： | 江苏;32 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 一种 定向 引导 模型 剪枝 方法 系统 设备 存储 介质 | ||
1.一种定向引导模型剪枝方法，其特征在于，包括：
根据预设定向稀疏加权值获取正则化项；
根据预设加权参数和所述正则化项获取范数正则优化项；
根据所述范数正则优化项和卷积神经网络的训练损失函数获取目标优化函数；
根据所述目标优化函数对深度学习模型进行定向稀疏并剪枝，得到剪枝后的深度学习模型。
2.根据权利要求1所述的定向引导模型剪枝方法，其特征在于，所述正则化项为：
f(γ)＝u(i)·γ2
其中，u(i)为所述预设定向稀疏加权值，γ为BN层的系数，所述BN层为所述卷积神经网络的归一化层。
3.根据权利要求1所述的定向引导模型剪枝方法，其特征在于，在所述的根据所述范数正则优化项和卷积神经网络的训练损失函数获取目标优化函数的步骤之前，还包括：获取所述卷积神经网络的训练损失函数。
4.根据权利要求3所述的定向引导模型剪枝方法，其特征在于，所述的获取所述卷积神经网络的训练损失函数的步骤，包括：
获取所述卷积神经网络的训练数据集和网络神经元权重；
根据所述训练数据集和所述网络神经元权重获取网络预测结果；
根据所述训练数据集和所述网络预测结果获取卷积神经网络的训练损失函数。
5.根据权利要求4所述的定向引导模型剪枝方法，其特征在于，所述目标优化函数为：
其中，x，y为所述训练数据集，W为所述网络神经元权重，h(x，W)为所述网络预测结果，δ为所述预设加权参数。
6.一种定向引导模型剪枝系统，其特征在于，包括：
正则优化项获取模块，用于根据预设定向稀疏加权值获取正则化项，并根据预设加权参数和所述正则化项获取范数正则优化项；
函数获取模块，用于根据所述范数正则优化项和卷积神经网络的训练损失函数获取目标优化函数；
模型处理模块，根据所述目标优化函数对深度学习模型进行定向稀疏并剪枝，得到剪枝后的深度学习模型。
7.根据权利要求6所述的定向引导模型剪枝系统，其特征在于，还包括：
损失函数获取模块，用于获取所述卷积神经网络的训练损失函数。
8.根据权利要求7所述的定向引导模型剪枝系统，其特征在于，所述损失函数获取模块具体用于获取所述卷积神经网络的训练数据集和网络神经元权重，并根据所述训练数据集和所述网络神经元权重获取网络预测结果，以及根据所述训练数据集和所述网络预测结果获取卷积神经网络的训练损失函数。
9.一种设备，其特征在于，包括存储器，处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至4任一项所述的定向引导模型剪枝方法的步骤。
10.一种存储介质，其特征在于，所述存储介质用于存储指令，当所述指令在计算机上运行时，使得所述计算机执行如权利要求1至4任一项所述的定向引导模型剪枝方法。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于苏州臻迪智能科技有限公司，未经苏州臻迪智能科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/202110214943.4/1.html，转载请声明来源钻瓜专利网。
