[发明专利]神经网络装置和操作神经网络的方法

说明书

公开一种神经网络装置和操作神经网络的方法。一种神经网络装置包括：训练装置，被配置为：接收训练图像数据，并基于训练图像数据对神经网络进行预训练，其中，预训练的神经网络的至少一个层的参数值为M位浮点型，M是大于3的自然数；量化参数计算器，被配置为：获得预训练的神经网络的参数，并对预训练的神经网络的参数进行量化，使得量化的参数具有混合数据型；分析M位浮点型的参数值的统计分布；基于分析的统计分布获得统计地覆盖参数值的分布范围的每个参数的量化水平；和使用基于获得的每个参数的量化水平获得的量化参数，将M位浮点型的权重量化为N位浮点型的权重，N是大于1且小于M的自然数。

本申请基于并要求于2019年7月4日在韩国知识产权局(KIPO)提交 的第10-2019-0080543号韩国专利申请的优先权，所述韩国专利申请的公开通 过引用完整地包含于此。

技术领域

本公开涉及神经网络，更具体地，涉及使用混合型数据的神经网络装置 和量化神经网络的参数的方法。

背景技术

神经网络表示对生物大脑进行建模的计算架构。近来，随着神经网络技 术的发展，已经积极地研究了各种电子系统，以使用神经网络装置来分析输 入图像数据并提取有效信息。神经网络装置可针对复杂的输入图像数据使用 大量的计算。为了使神经网络装置实时分析高质量图像数据并提取信息，可 使用能够高效地处理神经网络运算的技术。

由于典型的用于图像识别的神经网络装置可需要大量运算和/或低效地 处理运算，所以当由低功率、高性能的嵌入式系统(诸如，具有有限资源的 移动装置(例如，智能电话))实现时，典型的用于图像识别的神经网络装置 的图像识别性能可能是低效的。

发明内容

根据实施例，一种神经网络装置包括：训练装置，被配置为：接收训练 图像数据，并基于训练图像数据对神经网络进行预训练，其中，预训练的神 经网络的至少一个层的参数值为M位浮点型，M是大于3的自然数；量化参 数计算器，被配置为：获得预训练的神经网络的参数，并对预训练的神经网 络的参数进行量化，使得量化的参数具有混合数据型；和处理器，被配置为 将量化的参数应用于预训练的神经网络以获得优化神经网络，其中，量化参 数计算器还被配置为：分析M位浮点型的参数值的统计分布；基于分析的统 计分布获得统计地覆盖参数值的分布范围的每个参数的量化水平；和使用基 于获得的每个参数的量化水平获得的量化参数，将M位浮点型的权重量化为 N位浮点型的权重，N是大于1且小于M的自然数。

处理器还被配置为：接收待识别的图像数据，并将待识别的图像数据输 入到优化神经网络，以执行优化神经网络来对待识别的图像数据执行图像识 别。

量化参数计算器还被配置为：在优化神经网络被执行时，使用基于获得 的每个参数的量化水平获得的量化参数，将优化神经网络的所述至少一个层 的每个层的M位浮点型的输入数据量化为N位定点型的非对称输入数据。

量化参数计算器还被配置为：通过获得神经网络的预训练期间的M位浮 点型的输入数据、权重和偏置的参数值的统计，来分析统计分布，并且其中， 处理器还被配置为通过将N位定点型的非对称输入数据和N位浮点型的权重 应用于神经网络，来获得量化的神经网络。

量化参数计算器还被配置为：基于获得的每个参数的量化水平、分析的 统计分布的最大值和最小值，获得第一步长、第二步长、第一零点和第二零 点，其中，第一步长与M位浮点型的输入数据相关联并且对应于获得的每个 参数的量化水平之间的第一间隙，第二步长对应于通过执行M位浮点型的输 入数据和权重的节点运算而获得的输出数据的量化水平之间的第二间隙，第 一零点指示M位浮点型的输入数据的零值，第二零点指示输出数据的零值； 基于获得的第一步长和获得的第二步长来获得新的权重；和基于获得的新的权重来获得与输出数据相关联的偏置。

量化参数计算器还被配置为：通过将获得的第一步长和获得的第二步长 应用于M位浮点型的输入数据，来获得N位定点型的非对称输入数据。