[发明专利]神经网络训练方法、装置、设备及计算机可读存储介质

说明书

本发明公开了一种神经网络训练方法，包括以下步骤：随机初始化待训练神经网络，并基于输入数据，获取初始化后的待训练神经网络的目标随机参数；对所述目标随机参数进行量化处理，以获得量化参数；基于所述目标随机参数以及所述量化参数确定量化损失值；基于所述量化损失值以及初始化后的待训练神经网络，确定目标神经网络。本发明还公开了一种神经网络训练装置、设备及计算机可读存储介质。本发明过量化参数对神经网络进行训练，以使得训练得到的目标神经网络具有较强的模型可解释性，并且，通过选择目标随机参数，避免对神经网络中的大量冗余参数进行处理，降低模型训练过程中的网络计算量，以便于将神经网络小型化而部署于小型边缘设备中。

技术领域

本发明涉及神经网络领域，尤其涉及一种神经网络训练方法、装置、设备及计算机可读存储介质。

背景技术

随着人工智能的发展，深度学习在图像检测以及语音识别等领域体现出巨大的优势。神经网络是深度学习的一种重要算法。但是，由于神经网络中有存在大量冗余参数，会导致神经网络模型的计算量巨大，因此在一些应用场景例如在嵌入式设备等小型边缘设备中无法直接使用。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

本发明的主要目的在于提供一种神经网络训练方法、装置、设备及计算机可读存储介质，旨在解决现有神经网络模型的计算量巨大的技术问题。

为实现上述目的，本发明提供一种神经网络训练方法，所述神经网络训练方法包括以下步骤：

随机初始化待训练神经网络，并基于输入数据，获取初始化后的待训练神经网络的目标随机参数；

对所述目标随机参数进行量化处理，以获得量化参数；

基于所述目标随机参数以及所述量化参数确定量化损失值；

基于所述量化损失值以及所述初始化后的待训练神经网络，确定目标神经网络。

进一步地，所述基于所述目标随机参数以及所述量化参数确定量化损失值的步骤包括：

基于所述目标随机参数确定第一损失值，并基于所述量化参数确定第二损失值；

基于所述第一损失值以及所述第二损失值，确定所述量化损失值。

进一步地，失值的步骤包括：

基于所述输入数据以及所述目标随机参数，确定第一损失值；

基于所述输入数据以及所述量化参数，确定第二损失值。

进一步地，所述基于所述第一损失值以及所述第二损失值，确定所述量化损失值的步骤包括：

基于所述第一损失值、所述第二损失值以及预设合页损失函数，确定所述量化损失值。

进一步地，所述对所述目标随机参数进行量化处理，以获得量化参数的步骤包括：

基于所述目标随机参数的符号对各个目标随机参数进行二值量化处理，以获得所述量化参数。

进一步地，所述基于所述量化损失值以及初始化后的待训练神经网络，确定目标神经网络的步骤包括：

获取初始化后的待训练神经网络对应的损失函数值；

基于所述量化损失值以及所述损失函数值，确定目标神经网络。

进一步地，所述基于所述量化损失值以及所述损失函数值，确定目标神经网络的步骤包括：

基于所述量化损失值以及所述损失函数值，确定总损失函数值；