[发明专利]神经网络装置和操作神经网络的方法

权利要求书

1.一种神经网络装置，包括：

训练装置，被配置为：接收训练图像数据，并基于训练图像数据对神经网络进行预训练，其中，预训练的神经网络的至少一个层的参数值为M位浮点型，M是大于3的自然数；

量化参数计算器，被配置为：获得预训练的神经网络的参数，并对预训练的神经网络的参数进行量化，使得量化的参数具有混合数据型；和

处理器，被配置为将量化的参数应用于预训练的神经网络以获得优化神经网络，

其中，量化参数计算器还被配置为：

分析M位浮点型的参数值的统计分布；

基于分析的统计分布获得统计地覆盖参数值的分布范围的每个参数的量化水平；和

使用基于获得的每个参数的量化水平获得的量化参数，将M位浮点型的权重量化为N位浮点型的权重，N是大于1且小于M的自然数。

2.根据权利要求1所述的神经网络装置，其中，

处理器还被配置为：接收待识别的图像数据，并将待识别的图像数据输入到优化神经网络，以执行优化神经网络来对待识别的图像数据执行图像识别。

3.根据权利要求2所述的神经网络装置，其中，量化参数计算器还被配置为：在优化神经网络被执行时，使用基于获得的每个参数的量化水平获得的量化参数，将优化神经网络的所述至少一个层的每个层的M位浮点型的输入数据量化为N位定点型的非对称输入数据。

4.根据权利要求1所述的神经网络装置，其中，量化参数计算器还被配置为：通过获得神经网络的预训练期间的M位浮点型的输入数据、权重和偏置的参数值的统计，来分析统计分布，并且

其中，处理器还被配置为通过将N位定点型的非对称输入数据和N位浮点型的权重应用于神经网络，来获得量化的神经网络。

5.根据权利要求1所述的神经网络装置，其中，量化参数计算器还被配置为：

基于获得的每个参数的量化水平、分析的统计分布的最大值和最小值，获得第一步长、第二步长、第一零点和第二零点，

其中，第一步长与M位浮点型的输入数据相关联并且对应于获得的每个参数的量化水平之间的第一间隙，第二步长对应于通过执行M位浮点型的输入数据和权重的节点运算而获得的输出数据的量化水平之间的第二间隙，第一零点指示M位浮点型的输入数据的零值，第二零点指示输出数据的零值；

基于获得的第一步长和获得的第二步长来获得新的权重；和

基于获得的新的权重来获得与输出数据相关联的偏置。

6.根据权利要求5所述的神经网络装置，其中，量化参数计算器还被配置为：通过将获得的第一步长和获得的第二步长应用于M位浮点型的输入数据，来获得N位定点型的非对称输入数据。

7.根据权利要求5所述的神经网络装置，其中，量化参数计算器还被配置为：通过将获得的第一步长和获得的第二步长应用于M位浮点型的权重，来获得N位浮点型的权重。

8.根据权利要求7所述的神经网络装置，其中，N位浮点型的权重包括指数偏置。

9.根据权利要求8所述的神经网络装置，其中，量化参数计算器还被配置为：将指数偏置不同地应用于包括在神经网络中的多个层。

10.根据权利要求7所述的神经网络装置，其中，量化参数计算器还被配置为：使用2的倍数来获得N位浮点型的权重，所述2的倍数大于N位浮点型的权重的最大值并且最接近最大值。

11.根据权利要求5所述的神经网络装置，其中，量化参数计算器还被配置为：基于未被量化的偏置、获得的新的权重、获得的第一零点和获得的第二步长来获得与输出数据相关联的新的偏置。