[发明专利]人工神经网络处理方法和系统

权利要求书

1.一种方法，包括：

实现具有多个处理层的人工神经网络(ANN)，所述多个处理层具有相应处理层参数，所述处理层参数包括至少一个权重参数集(w_i)、至少一个输入激活参数(a_j)、至少一个输出激活参数(b_j)以及至少一个激活函数参数(ρ)；

将网格的维度参数(d)设置为整数值，所述网格具有多个网格点，并且由基矢量集(b₁，b₂)来标识；

选择所述ANN的所述多个处理层中的相应处理层的权重参数集(w_i)；

对所选择的所述权重参数集(w_i)应用矢量化处理，产生权重矢量集(u₁，u₂，u₃)，并且将所述权重矢量集(u₁，u₂，u₃)布置为权重矢量矩阵(U)；

执行所述权重矢量矩阵(U)的归一化处理，产生经归一化的权重矢量矩阵(U’)；

对所述经归一化的权重矢量矩阵(U’)应用网格矢量量化(LVQ)处理，产生码字的码本；

对所产生的所述码本应用索引处理，所述索引包括根据所述网格来对所述码本的码字进行编码，产生相应索引元组(i_s，i_a，i_a^LUT)；以及

向所述ANN的神经处理电路提供所产生的索引元组(i_s，i_a，i_a^LUT)，

其中执行所述权重矢量矩阵(U)的所述归一化处理包括：求解优化问题，所述优化问题具有：

第一项，用于根据所述ANN的所述至少一个输入激活参数(a_j)来提供经归一化的权重值，所述经归一化的权重值近似于所述ANN的所述至少一个输出激活参数(b_j)；以及

正则化项Ω_L(u)，用于将与所选择的所述网格的所述网格点有距离的经归一化的权重值放大。

2.根据权利要求1所述的方法，其中在与所述权重矢量矩阵(U)的项u_k的所选择的所述网格的所述网格点的距离可忽略时，所述正则化项Ω_L(u)达到最小值。

3.根据权利要求1所述的方法，其中所述优化问题被表示为：

其中

S指示所述ANN的所述多个处理层中所选择的所述处理层的所述处理层参数，

a_j是所述ANN的所述多个处理层中所选择的所述处理层的所述处理层参数的所述输入激活参数，并且b_j是所述输出激活参数，

ρ是所述ANN的所述多个处理层中所选择的所述处理层的所述处理层参数的所述激活函数参数，

u_k是所述权重矢量矩阵的项，以及

λ是缩放因子。

4.根据权利要求3所述的方法，其中所述正则化项Ω_L被表示为：

其中

σ²是统计方差参数；并且

cw是所述基矢量集中标识所述网格的基矢量。

5.根据权利要求4所述的方法，其中求解所述优化问题包括：对所述经归一化的权重矢量矩阵(U)应用第二缩放因子。

6.根据权利要求5所述的方法，其中所述第二缩放因子的值在0与1之间。

7.根据权利要求1所述的方法，其中所述归一化处理包括：使用随机梯度下降(SGD)处理来求解所述优化问题。