[发明专利]一种深度神经网络的压缩方法、装置及计算机可读存储介质

权利要求书

1.一种深度神经网络的压缩方法，其特征在于，所述方法包括：

基于预设训练集，预先训练得到初始深度神经网络；

构建与所述预设训练集同分布的第一数据集；

利用所述初始深度神经网络对所述第一数据集进行处理，得到所述第一数据集的标注集；

构建浅层神经网络，基于所述第一数据集以及所述第一数据集的标注集，对所述浅层神经网络进行监督训练，得到所述浅层神经网络的网络参数。

2.根据权利要求1所述的深度神经网络的压缩方法，其特征在于，所述构建与所述预设训练集同分布的第一数据集，包括：

获取所述预设训练集X：

X＝{x_i，i＝1，2，3，…，m}；

其中，x_i＝{x_ij，j＝1，2，3，…，n}；m表示所述训练集X包含的样本个数，n表示样本x_i中包含的数值的个数，m和n均为正整数；

构建与X中每一个样本x_i距离最近的两个样本p_i和q_i：

p_i＝{p_ij，j＝1，2，3，…，n}；

基于所述样本p_i和q_i，构建与样本x_i对应的数据样本z_i:

z_i＝{z_ij，j＝1，2，3，…，n}；

其中，z_ij根据以下关系式得到：

其中，θ满足：0≤θ≤1，α满足：0≤α≤1；

基于得到的数据样本z_i，构建与所述预设训练集同分布的第一数据集Z：

Z＝{z_i，i＝1，2，3，…，m}。

3.根据权利要求1所述的深度神经网络的压缩方法，其特征在于，所述利用所述初始深度神经网络对所述第一数据集进行处理，得到所述第一数据集的标注集，包括：

将所述第一数据集输入所述初始深度神经网络，得到输出数据集，作为所述第一数据集的标注集。

4.根据权利要求1所述的深度神经网络的压缩方法，其特征在于，所述基于预设训练集，预先训练得到初始深度神经网络，包括：

利用深度神经网络模型、基于所述预设训练集以及所述预设训练集对应的标注集，监督训练得到所述初始深度神经网络。

5.根据权利要求4所述的深度神经网络的压缩方法，其特征在于，所述基于所述预设训练集以及所述预设训练集对应的标注集，监督训练得到所述初始深度神经网络，包括：

基于目标函数f以及损失函数l训练得到所述初始深度神经网络；其中，目标函数f为：

其中，m和i均为正整数，Φ为模型集合；

损失函数l为：

其中，k和i均为正整数。

6.根据权利要求1所述的深度神经网络的压缩方法，其特征在于，所述构建浅层神经网络包括：

基于损失函数l训练得到所述浅层神经网络g；

其中，所述损失函数l为：

其中，k和i均为正整数；所述浅层神经网络模型g为：

其中，m和i均为正整数，Ψ为候选浅层模型集合，l为交叉熵损失函数。

7.一种深度神经网络的压缩装置，其特征在于，所述装置包括：

初始网络构建模块，用于基于预设训练集，预先训练得到初始深度神经网络；

同分布数据集构建模块，用于构建与所述预设训练集同分布的第一数据集；

第一处理模块，利用所述初始深度神经网络对所述第一数据集进行处理，得到所述第一数据集的标注集；

浅层神经网络构建模块，用于构建浅层神经网络；

监督训练模块，用于基于所述第一数据集以及所述第一数据集的标注集，对所述浅层神经网络进行监督训练，得到所述浅层神经网络的网络参数。