[发明专利]一种用于防止神经网络过拟合的处理装置及系统

说明书

本发明涉及一种防止神经网络过拟合的处理装置及系统，该系统包括：网络运算器及处理装置。网络运算器执行神经网络的训练操作；处理装置接收来自网络运算器的指令以生成随机数，并且将输入副本和选取的神经网络数据发送到所述网络运算器以供执行训练操作。本发明可以提前计算随机数和掩模，并保存备用，缩短运算时间、节省输出入资源及运算资源。

技术领域

本披露一般地涉及计算机领域。更具体地，本披露涉及防止神经网络过拟合的处理装置及系统。

背景技术

在机器学习的模型中，如果模型的参数太多，而训练样本又太少，训练出来的模型很容易产生过拟合的现象。在训练神经网络的时候经常会遇到过拟合的问题，过拟合具体表现在：模型在训练数据上损失函数较小，预测准确率较高，但是在测试数据上损失函数比较大，预测准确率较低。

为了解决过拟合问题，一般会采用模型集成的方法，即训练多个模型进行组合。此时，训练模型费时就成为一个很大的问题，不仅训练多个模型费时，测试多个模型也很费时。而舍弃操作（dropout）可以比较有效的缓解过拟合的发生，在模型训练时随机让网络某些隐含层节点的权重不工作，然而在处理不工作的权重时，是进行完卷积后才决定丢弃，这样的卷积运算是没有必要的，因此一种可以减少访存资源和计算资源的技术方案是该技术领域中需要解决的问题。

发明内容

为了至少部分地解决背景技术中提到的技术问题，本披露的方案提供了一种防止神经网络过拟合的处理装置及系统。

在一个方面中，本披露提供一种防止神经网络过拟合的处理装置，包括：随机数生成器、运算器及存储器。随机数生成器配置成生成用于对神经网络中的目标层执行舍弃操作的随机数；运算器配置成根据所述随机数来生成掩模矩阵（mask）；以及存储器配置成与所述运算器协作，以至少执行以下操作：根据所述掩模矩阵来选取保存于所述处理装置外部的神经网络数据，以及存储所述随机数、掩模矩阵和所述神经网络数据中的至少一项，以用于参与所述目标层训练计算。

在另一个方面中，本披露提供一种用于训练神经网络的系统，包括：网络运算器配置成执行所述神经网络的训练操作；以及前述的处理装置，其中所述处理装置配置成接收来自所述网络运算器的指令以生成所述随机数，并且将输入副本和选取的神经网络数据发送到所述网络运算器以供执行训练操作。

利用本披露防止神经网络过拟合的处理装置及系统，可以提前计算随机数和掩模，并保存备用，缩短运算时间、节省输出入资源及运算资源。

附图说明

通过参考附图阅读下文的详细描述，本披露示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本披露的若干实施方式，并且相同或对应的标号表示相同或对应的部分，其中：

图1是本披露实施例卷积神经网络的示意图；

图2是本披露实施例防止神经网络过拟合的系统的结构图；

图3是本披露实施例通过掩模进行丢弃操作的示意图；

图4是本披露实施例通过掩模进行丢弃操作的示意图；

图5是本披露实施例在使用随机数进行读取任务时的示意图；

图6是本披露实施例通过掩模进行丢弃操作的示意图；

图7是本披露实施例通过掩模进行丢弃操作的示意图；

图8是本披露实施例拼接或转移操作的示意图；

图9是本披露实施例集成电路装置的结构图；以及

图10是本披露实施例板卡的结构图。

具体实施方式