[发明专利]一种深度神经网络的压缩方法、装置及计算机可读存储介质

说明书

本发明公开了一种深度神经网络的压缩方法、装置及计算机可读存储介质，所述方法包括：基于预设训练集，预先训练得到初始深度神经网络；构建与所述预设训练集同分布的第一数据集；利用所述初始深度神经网络对所述第一数据集进行处理，得到所述第一数据集的标注集；构建浅层神经网络，基于所述第一数据集以及所述第一数据集的标注集，对所述浅层神经网络进行监督训练，得到所述浅层神经网络的网络参数。

技术领域

本发明涉及深度学习领域，尤其涉及一种深度神经网络的压缩方法、装置及计算机可读存储介质。

背景技术

现有的神经网络压缩方法主要有网络剪枝、权值量化两种，两种方式都是对初始训练得到的模型进行分析，通过权值阈值等方式确定剪枝、量化等操作的对象，因此，目前神经网络压缩方法没有从本质上改变网络结构，只是对网络结构进行微调整，因此涉及的模型参数值、计算量仍很大，致使神经网络模型部署在轻量级的设备上所需花费的成本仍很高。

发明内容

为解决上述技术问题，本发明实施例提供了一种深度神经网络的压缩方法、装置及计算机可读存储介质。

本发明实施例提供的一种深度神经网络的压缩方法，包括：

基于预设训练集，预先训练得到初始深度神经网络；

构建与所述预设训练集同分布的第一数据集；

利用所述初始深度神经网络对所述第一数据集进行处理，得到所述第一数据集的标注集；

构建浅层神经网络，基于所述第一数据集以及所述第一数据集的标注集，对所述浅层神经网络进行监督训练，得到所述浅层神经网络的网络参数。

其中，所述构建与所述预设训练集同分布的第一数据集，包括：

获取所述预设训练集X：

X＝{x_i，i＝1，2，3，…，m}；

其中，x_i＝{x_ij，j＝1，2，3，…，n}；m表示所述训练集X包含的样本个数，n表示样本x_i中包含的数值的个数，m和n均为正整数；

构建与X中每一个样本x_i距离最近的两个样本p_i和q_i：

p_i＝{p_ij，j＝1，2，3，…，n}；

基于所述样本p_i和q_i，构建与样本x_i对应的数据样本z_i:

z_i＝{z_ij，j＝1，2，3，…，n}；

其中，z_ij根据以下关系式得到：

其中，θ满足：0≤θ≤1，α满足：0≤α≤1；

基于得到的数据样本z_i，构建与所述预设训练集同分布的第一数据集Z：

Z＝{z_i，i＝1，2，3，…，m}。

其中，所述利用所述初始深度神经网络对所述第一数据集进行处理，得到所述第一数据集的标注集，包括：

将所述第一数据集输入所述初始深度神经网络，得到输出数据集，作为所述第一数据集的标注集。

其中，所述基于预设训练集，预先训练得到初始深度神经网络，包括：