[发明专利]一种神经网络的优化方法及相关设备

说明书

本申请实施例公开了一种神经网络的优化方法及相关设备，可应用于人工智能领域中的计算机视觉领域(如，图像超分辨重建)等，该方法包括：通过一种新的量化模型对神经网络的权重矩阵/特征表示(或称特征图、激活值)进行二值化，具体地，第一量化模型用于根据神经网络第1层至第m层的m个第一权重矩阵得到神经网络第m层的第二权重矩阵，第二量化模型用于根据第1层至第m层的m个第一特征表示得到神经网络第m层的第二特征表示，这种优化方式使得各层权重矩阵/特征表示的取值不仅和自身相关，也与其他层的权重矩阵/特征表示相关，降低了量化误差，使神经网络的训练和使用更加高效，同时，相比现有二值神经网络，提高了图像信息处理的精度。

技术领域

本申请涉及机器学习领域，尤其涉及一种神经网络的优化方法及相关设备。

背景技术

神经网络是一种模拟人脑的神经网络以期能够实现类人工智能的机器学习技术，是深度学习的基础，目前的神经网络一般采用浮点计算，需要较大的存储空间和计算量，严重阻碍在边缘设备(如，摄像头)及端侧设备(如，手机)上的应用。二值神经网络以其高模型压缩率和快计算速度的潜在优势，近些年成为深度学习的热门研究方向。

二值神经网络(binary neural network，BNN)是在神经网络的基础上，将神经网络的权重矩阵中的各个权重二值化为1或者-1。通过二值化操作，使模型的参数占用更小的存储空间(原来的每个权重需要32位浮点数存储，现在只要一个bit就可以存下来，内存消耗理论上减少为原来的1/32倍)。BNN的实质是将原来的神经网络的权重矩阵二值化(即各个权重取值为+1或-1)，并没有改变网络的结构，主要在梯度下降、权值更新等做了一些优化处理。

目前，神经网络的二值化的方式是单独针对某一层的权重矩阵进行二值化，也就是说，这种二值化的方式仅是对神经网络各层的权重矩阵单独进行量化，使得量化误差大。

发明内容

本申请实施例提供了一种神经网络优化方法及相关设备，用于调整神经网络各层的权重矩阵中各个权重的取值为+1或-1，每一层调整后的权重矩阵(如，第m层的权重矩阵)的取值都与之前各层(如，第1层至第m-1层)未调整之前的权重矩阵的取值相关，这种优化方式使得各层权重矩阵中各个权重的取值不仅和自身相关，也与其他层的权重矩阵相关，降低了量化误差，使得神经网络的训练和使用更加高效。

基于此，本申请实施例提供以下技术方案：

第一方面，本申请实施例首先提供一种神经网络的优化方法，可用于人工智能领域中，该神经网络包括第一神经网络模块，该第一神经网络模块包括n个卷积层，具体地，该方法包括：

首先，训练设备会获取第一量化模型，该第一量化模型就用于根据神经网络中第一神经网络模块的第1层至第m层的m个第一权重矩阵得到第一神经网络模块的第m层的第二权重矩阵，其中，第一神经网络模块每层的第一权重矩阵指的就是初始的用32位浮点数表示的权重矩阵，第一神经网络模块每层的第二权重矩阵指的就是被赋值为+1或-1的权重矩阵。训练设备获取到第一量化模型之后，就可根据该第一量化模型，将第一神经网络模块各层对应的每个第一权重矩阵进行二值化操作，得到第一神经网络模块各层对应的每个第二权重矩阵。训练设备通过上述步骤将第一神经网络模块各层的第一权重矩阵根据第一量化模型二值化为第二权重矩阵之后，就可进一步通过训练集中的训练数据对神经网络进行训练，从而得到训练后的神经网络，最后，将可训练后的神经网络部署在目标设备上进行使用。需说明的是，在本申请实施例中，目标设备具体可以是移动端的设备，如摄像头、智能家居等边缘设备，也可以是如手机、个人计算机、计算机工作站、平板电脑、智能可穿戴设备(如，智能手表、智能手环、智能耳机等)、游戏机、机顶盒、媒体消费设备等端侧设备，具体此处对目标设备的类型不做限定。