[发明专利]用于生成卷积神经网络的方法和装置

说明书

本申请实施例公开了用于生成卷积神经网络的方法和装置。该方法的一具体实施方式包括：获取卷积神经网络的目标卷积层的初始输入值和初始权重，以分别生成第一输入值集合和第一权重集合；根据当前阶段的量化比例，对第一输入值集合和第一权重集合分别进行量化取整，生成第二输入值集合和第二权重集合，其中，第二权重集合中包括量化取整后的第一权重；将第二权重集合作为目标卷积层的权重，并确定当前阶段的总量化比例是否达到预设比例值；响应于确定当前阶段的总量化比例达到预设比例值，生成并存储目标卷积神经网络。该实施方式可以实现目标卷积层权重的多阶段量化，有助于提高卷积神经网络的生成方法的灵活性。

技术领域

本申请实施例涉及计算机技术领域，具体涉及神经网络技术领域，尤其涉及用于生成卷积神经网络的方法和装置。

背景技术

深度学习的概念源于人工神经网络的研究。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本。

同机器学习方法一样，深度机器学习方法也有监督学习与无监督学习之分。不同的学习框架下建立的学习模型很是不同。例如，卷积神经网络(Convolution NeuralNetwork，简称CNN)就是一种深度的监督学习下的机器学习模型；而深度置信网(DeepBelief Net，简称DBN)就是一种无监督学习下的机器学习模型。

发明内容

本申请实施例提出了用于生成卷积神经网络的方法和装置。

第一方面，本申请实施例提供了一种用于生成卷积神经网络的方法，包括：获取卷积神经网络的目标卷积层的初始输入值和初始权重；根据初始输入值和初始权重，分别生成第一输入值集合和第一权重集合；根据当前阶段的量化比例，对第一输入值集合中的各第一输入值和第一权重集合中的各第一权重分别进行量化取整，生成第二输入值集合和第二权重集合，其中，第二权重集合中包括量化取整后的第一权重；将第二权重集合作为目标卷积层的权重，并确定目标卷积层的权重在当前阶段的总量化比例是否达到预设比例值；响应于确定目标卷积层的权重在当前阶段的总量化比例达到预设比例值，将当前阶段的卷积神经网络作为目标卷积神经网络，并存储目标卷积神经网络。

在一些实施例中，该方法还包括：响应于确定目标卷积层的权重在当前阶段的总量化比例未达到预设比例值，根据损失函数对当前阶段的卷积神经网络进行训练，以调整第二权重集合中未量化取整的第一权重，直至损失函数的值趋于目标值；获取下一阶段的量化比例作为当前阶段的量化比例；根据当前阶段的量化比例，对第二输入值集合中未量化取整第一输入值和第二权重集合中未量化取整的第一权重分别进行量化取整，以更新第二输入值集合和第二权重集合；将更新的第二权重集合作为目标卷积层的权重，并确定目标卷积层的权重在当前阶段的总量化比例是否达到预设比例值。

在一些实施例中，根据初始输入值和初始权重，分别生成第一输入值集合和第一权重集合，包括：根据量化编码的位数，将初始输入值的范围和初始权重的范围分别均匀划分为预设数目个子区间，其中，预设数目与量化编码的位数正相关；根据位于预设数目个子区间中的各输入值和各权重，分别生成第一输入值集合和第一权重集合。

在一些实施例中，对第一输入值集合中的各第一输入值和第一权重集合中的各第一权重分别进行量化取整，生成第二输入值集合和第二权重集合，包括：根据预设量化方法，对第一输入值集合中的各第一输入值进行量化取整，并将量化取整后的第一输入值作为第二输入值，生成第二输入值集合；根据第一权重集合中的各第一权重的分布概率，对第一权重集合中的各第一权重进行上取整或下取整，并将取整后的第一权重作为第二权重，生成第二权重集合。