[发明专利]一种神经网络训练方法及装置

权利要求书

1.一种神经网络处理装置，其特征在于，包括：

选择窗口单元，用于通过滑动窗口从神经网络的权值中选取出M个权值，所述M为大于或等于2的整数；

选择分布模式单元，用于选择所述滑动窗口选取的M个权值的权值分布模式，所述权值分布模式包括规律分布模式；在所述规律分布模式下，所述M个权值中至少有两个权值相同；

运算单元，用于根据所述滑动窗口选取的M个权值对神经网络进行训练。

2.根据权利要1所述的装置，其特征在于，

所述规律分布模式包括等值分布模式、行分布模式、列分布模式和循环分布模式中的任一种。

3.根据权利要求1或2所述的装置，其特征在于，

所述运算单元，还用于使用反向传播算法对神经网络进行重新训练，其中，在所述重新训练的过程中，保持所述滑动窗口内的权值分布模式不变。

4.根据权利要求1-3任一项所述的装置，其特征在于，所述神经网络包括全连接层、卷积层和/或长短期记忆LSTM层，其中，所述全连接层的权值是一个二维矩阵(Nin,Nout)，其中Nin是输入神经元的个数，Nout是输出神经元的个数，所述全连接层有Nin*Nout个权值；所述卷积层的权值是一个四维矩阵(Nfin,Nfout,Kx,Ky)，其中Nfin是输入特征图像的个数，Nfout是输出特征图像的个数，(Kx,Ky)是卷积核的大小，所述卷积层有Nfin*Nfout*Kx*Ky个权值；所述LSTM层的权值有m个全连接层的权值组成，所述m为大于0的整数，第i个全连接层权值为(Nin_i，Nout_i)，其中i是大于0且小于或等于m的整数，Nin_i表示第i个全连接层权值输入神经元个数，Nout_i表示第i个全连接层权值输出神经元个数。

5.根据权利要求4所述的装置，其特征在于，当所述神经网络包括全连接层时，所述滑动窗口的大小为Bin*Bout的滑动窗口，其中所述Bin为大于0且小于或等于Nin整数，所述Bout为大于0且小于或等于Nout的整数；所述选择窗口单元具体用于：

使所述滑动窗口能够沿着Bin的方向按照步长Sin进行滑动，或者沿着Bout的方向按照步长Sout进行滑动，其中Sin为大于0且小于或等于Bin的正整数，Sout为大于0且小于或等于Bout的正整数；

通过所述滑动窗口从所述Nin*Nout个权值中选取M个取值，其中，所述M＝Bin*Bout。

6.根据权利要求4所述的装置，其特征在于，当所述神经网络包括卷积层时，所述滑动窗口为大小为Bfin*Bfout*Bx*By的四维滑动窗口，其中，Bfin为大于0且小于或等于Nfin的整数，Bx为大于0且小于或等于Kx的整数，By为大于0且小于或等于Ky的整数；所述选择窗口单元具体用于：

使所述滑动窗口沿着Bfin的方向按照步长Sfin进行滑动，或者沿着Bfout的方向按照步长Sfout进行滑动，或者沿着Bx的方向按照步长Sx进行滑动，或沿着By的方向按照步长Sy进行滑动，其中Sfin为大于0且小于或等于Bfin的整数，Sfout为大于0且小于或等于Bfout的整数，Sx为大于0且小于或等于Bx的整数，Sy为大于0且小于或等于By的整数；

通过所述滑动窗口从所述Nfin*Nfout*Kx*Ky个权值中选取M个权值，其中，所述M＝Bfin*Bfout*Bx*By。

7.根据权利要求4所述的装置，其特征在于，当所述神经网络包括LSTM层时，所述滑动窗口的大小为Bin_i*Bout_i，其中Bin_i为大于0且小于或等于Nin_i的整数，Bout_i为大于0且小于或等于Nout_i的整数；所述选择窗口单元具体用于：

使所述滑动窗口沿着Bin_i的方向按照步长Sin_i进行滑动，或沿着Bout_i的方向按照步长Sout_i进行滑动，其中Sin_i为大于0且小于或等于Bin_i的正整数，Sout_i为大于0且小于或等于Bout_i的正整数；

通过所述滑动窗口从所述Bin_i*Bout_i个权值中选取M个权值，其中，所述M＝Bin_i*Bout_i。