[发明专利]一种用于防止神经网络过拟合的处理装置及系统

权利要求书

1.一种防止神经网络过拟合的处理装置，包括：

随机数生成器，其配置成生成用于对神经网络中的目标层执行舍弃操作的随机数；以及

运算器，其配置成：

根据所述随机数来生成掩模矩阵，所述掩模矩阵包括0和1两种类型的元素；以及

基于所述掩模矩阵来更新参与所述目标层训练计算的输入数据，当确定所述元素1集中分布于所述掩模矩阵中的一个或多个子矩阵内时，则将该一个或多个子矩阵内的元素0修改为元素1，并且利用所述掩模矩阵的任一行元素来生成所述输入数据的一个输入副本，以便将所述输入副本用于参与所述目标层训练计算；

其中，训练后的掩模矩阵对待处理的图像进行遮挡，以控制所述图像处理的区域。

2.根据权利要求1所述的处理装置，其中所述输入数据是训练过程中所述目标层的前一层的输出。

3.根据权利要求2所述的处理装置，其中在更新所述输入数据中，所述运算器或者配置成：

当确定所述掩模矩阵的每行元素中存在超过预定数目的元素0，则利用每行元素来生成所述输入数据的一个输入副本，以便将多个输入副本用于参与所述目标层训练计算。

4.根据权利要求3所述的处理装置，其中在生成所述输入数据的输入副本中，所述运算器配置成将所述输入数据中、与所述掩模矩阵的元素0相对应的输入数据元素修改为0。

5.根据权利要求4所述的处理装置，还包括：

存储器，其配置成与所述运算器协作，根据所述掩模矩阵来选取保存于所述处理装置外部的神经网络数据；

其中所述运算器配置成获取存储参与所述目标层训练计算的所述神经网络数据的内存初始地址，所述存储器配置成根据所述掩模矩阵和初始地址来获取参与所述目标层训练计算的所述神经网络数据的内存访问地址，以从所述内存访问地址读取所述神经网络数据。

6.根据权利要求5所述的处理装置，其中所述存储器包括存储单元，并且所述存储器进一步配置成：

根据所述掩模矩阵中的元素1的分布，将所述掩模矩阵划分成包括至少一个元素1的一个或多个块，每个块包括相同或不同数目的元素1；以及

以所述块为长度，连续地读取与所述块中的元素相对应的内存访问地址中的所述神经网络数据到所述存储单元。

7.根据权利要求6所述的处理装置，其中在将所述掩模矩阵划分成一个或多个块中，所述存储器配置成：

遍历所述掩模矩阵，并且在划分过程中跳过连续的多个元素0，将多个连续的元素1划分到一个块，以及根据元素0和1的分布密集度来确定是否将元素0与元素1划分到一个块中。

8.根据权利要求7所述的处理装置，其中所述存储器还包括一个读写头，所述存储器配置成：

通过利用所述一个读写头，仅将所述块中的元素1所对应的神经网络数据顺序地读取到存储单元内连续的存储地址内。

9.根据权利要求7所述的处理装置，其中所述存储器包括多个读写头，所述存储器配置成：

将所述多个块划分成多个组，每个组包括相同数目的元素1；以及

通过利用与所述多个组相对应的所述多个读写头，并行地将多个组中的仅元素1所对应的神经网络数据顺序地读取到存储单元内连续的存储地址内。

10.根据权利要求8或9所述的处理装置，其中所述读写头配置成利用所述掩模矩阵作为读写操作的使能信号，以将仅元素1所对应的神经网络数据顺序地读取到存储单元内连续的存储地址内。

11.根据权利要求10所述的处理装置，其进一步包括收发器，其配置成：

将所述输入副本和选取参与目标层训练计算的神经网络数据发送到网络运算器，以用于网络运算器执行神经网络目标层训练计算；以及

从所述网络运算器接收执行所述训练后更新的神经网络数据。