[发明专利]神经网络的架构优化训练

说明书

优化具有多个层的神经网络的示例方法包括：获得(302)用于实现神经网络的推理平台的电路系统的架构约束；在训练平台上训练(304)神经网络以生成用于多个层的网络参数和特征映射；以及基于架构约束来约束(306)网络参数、特征映射或其两者。

技术领域

本公开的示例大体上涉及神经网络，并且特别地，涉及神经网络的架构优化训练。

背景技术

机器学习是使计算系统无需明确编程即可采取动作的科学。经典机器学习包括各种聚类和分类技术，包括K-means聚类、线性和逻辑回归、随机梯度下降、关联规则学习等。深度学习是机器学习中较新的前沿。深度学习是一类机器学习算法，它使用多层非线性处理单元进行特征提取和转换。深度学习算法可以是无监督的(例如模式分析)或有监督的(例如分类)。深度学习算法可以使用人工神经网络(ANN)(本文中被称为“神经网络”)的层来被实现。

一般而言，神经网络是在图中被连接节点(即“神经元”)的集合。神经网络中的节点计算加权输入的总和，并向总和添加可选的偏差。节点的输出是最终总和的函数(被称为“激活函数”)。示例激活函数包括S形函数、双曲正切(tanh)函数、整流线性单元(ReLU)函数和恒等函数。神经网络模型常常被组织为节点的层，这些层定义了具体的拓扑以及相应的权重和偏差。权重和偏差被称为网络参数。

一般而言，神经网络包括输入层和输出层，并且可以在输入层和输出层之间可选地包括一个或多个隐藏层。深度学习应用中使用的神经网络通常包括许多隐藏层，这产生了术语“深度神经网络(DNN)”。神经网络层可以被紧密连接(例如，层中的每个节点都被完全连接到前层中的所有节点)，或可以被稀疏连接(例如，层中的每个节点仅连接到前层中的一部分节点)。卷积神经网络(CNN)是一种DNN，包括一个或多个被称为卷积层的稀疏连接层。CNN非常适合处理图像或视频数据。其他类型的DNN包括递归神经网络(RNN)，非常适合处理语音和文本数据。

任何拓扑或类型的神经网络都需要正确的跨所有层的网络参数值，以使网络适应具体任务。有监督的训练过程可以被用于确定网络参数集，网络参数集针对具体任务产生期望的精确度。训练涉及通过网络的前向路径(前向传播)运行训练数据集，并且通过网络的反向路径(反向传播)更新权重以补偿预测误差。然后，将训练后的神经网络部署为对输入数据集执行具体的任务(被称为推理)。被用于训练神经网络的计算平台(训练平台)的性能常常比用于推理的计算平台(推理平台)的性能更高。但是，推理平台的能效常常比训练平台的能效更高。期望减少神经网络推理的计算强度，特别是在使用性能较低的推理平台时。

发明内容

描述了用于神经网络的架构优化训练的技术。在一个示例中，一种优化具有多层的神经网络的方法包括：获得用于实现神经网络的推理平台的电路系统的架构约束；在训练平台上训练神经网络，以生成用于多个层的网络参数和特征映射；以及基于架构约束来约束网络参数、特征映射或其两者。

在一些实施例中，架构约束可以包括多个约束，并且约束的步骤可以使用多个约束中的至少一个约束来被执行。

在一些实施例中，约束的步骤可以使用实现神经网络的期望的精确度的最大数目的多个约束来被执行。

在一些实施例中，约束的步骤可以在训练神经网络的步骤期间被执行。

在一些实施例中，约束的步骤可以在训练神经网络的步骤之后被执行。

在一些实施例中，方法还可以包括使用受约束的网络参数、受约束的特征映射或受约束的网络参数和受约束的特征映射两者在训练平台上对神经网络进行再训练以生成新的网络参数。

在一些实施例中，架构约束可以包括基于推理平台的电路系统的计算功能的一个或多个约束。

在一些实施例中，计算功能可以包括推理平台的乘法-累加电路系统的结构和数据宽度约束。