[发明专利]一种神经网络的优化方法及相关设备

权利要求书

1.一种神经网络的优化方法，其特征在于，所述神经网络包括第一神经网络模块，所述第一神经网络模块包括n个卷积层，所述方法包括：

获取第一量化模型，所述第一量化模型用于根据所述第一神经网络模块的第1层至第m层的m个第一权重矩阵，得到所述第一神经网络模块的第m层的第二权重矩阵，其中，每层的第一权重矩阵均为用32位浮点数表示的权重矩阵，每层的第二权重矩阵均为赋值+1或-1的权重矩阵，1≤m≤n；

根据所述第一量化模型，将所述第一神经网络模块各层对应的每个第一权重矩阵进行二值化操作，得到所述第一神经网络模块各层对应的每个第二权重矩阵；

通过训练集中的训练数据对所述神经网络进行训练，得到训练后的神经网络；

将所述训练后的神经网络部署在目标设备上。

2.根据权利要求1所述的方法，其特征在于，所述根据所述第一量化模型，将所述第一神经网络模块各层对应的每个第一权重矩阵进行二值化操作，得到所述第一神经网络模块各层对应的每个第二权重矩阵包括：

通过得到所述第m层的第二权重矩阵，其中，W₁，W₂，...，W_m为第1层的第一权重矩阵至第m层的第一权重矩阵，α₁，α₂，...，α_m为与W₁，W₂，...，W_m对应的第一线性组合参数，WN(·)为对α₁W₁+α₂W₂+…+α_mW_m进行的归一化操作，Sign(·)为对WN(α₁W₁+α₂W₂+…+α_mW_m)进行二值化操作的符号函数，为所述第m层的第二权重矩阵，为所述第一量化模型。

3.根据权利要求1-2中任一项所述的方法，其特征在于，在通过训练集中的训练数据对所述神经网络进行训练，得到训练后的神经网络之前，所述方法还包括：

确定所述第m层的第二权重矩阵的权值增益；

根据所述第m层的第二权重矩阵的权重增益对所述第m层的第二权重矩阵进行调整，使得调整后的第m层的第二权重矩阵与第m层的第一权重矩阵之间的差值小于所述第m层的第二权重矩阵与所述第m层的第一权重矩阵之间的差值。

4.根据权利要求2-3中任一项所述的方法，其特征在于，在通过训练集中的训练数据对所述神经网络进行训练，得到训练后的神经网络之前，所述方法还包括：

设置所述第一线性组合参数为所述神经网络的网络参数，以使得在根据训练集中的训练数据对所述神经网络进行训练的过程中，对所述第一线性组合参数进行训练。

5.根据权利要求2-3中任一项所述的方法，其特征在于，在通过训练集中的训练数据对所述神经网络进行训练，得到训练后的神经网络之前，所述方法还包括：

确定所述第m层的第一权重矩阵与所述第m层的第二权重矩阵的模值为所述第一线性组合参数中的α_m；

对所述模值进行线性回归得到所述α_m的最终取值。

6.根据权利要求1-5中任一项所述的方法，其特征在于，在根据所述第一量化模型，将所述第一神经网络模块各层对应的每个第一权重矩阵进行二值化操作，得到所述第一神经网络模块各层对应的每个第二权重矩阵之后，所述方法还包括：

按照所述n个卷积层连接的先后顺序依次计算所述第一神经网络模块每层的第一特征表示；

获取第二量化模型，所述第二量化模型用于根据所述第一神经网络模块的第1层至第m层的m个第一特征表示，得到所述第一神经网络模块的第m层的第二特征表示，其中，每层的第一特征表示均为用32位浮点数表示的特征表示，每层的第二特征表示均为赋值+1或-1的特征表示，1≤m≤n；

根据所述第二量化模型，将所述第一神经网络模块各层对应的每个第一特征表示进行二值化操作，得到所述第一神经网络模块各层对应的每个第二特征表示。