[发明专利]神经网络优化方法

说明书

本申请涉及一种神经网络优化方法，该神经网络优化方法包括：预设建模参数，所述建模参数包括网络参数和硬件参数；基于所述建模参数构建神经网络能耗模型；基于所述建模参数构建神经网络时间模型；对所述神经网络能耗模型和神经网络时间模型进行双目标优化。本申请从网络的硬件计算流程的角度对神经网络进行时间与能耗建模，在时间、能耗逐层预测，同时分析时间、能耗开销的主导建模参数，通过改进建模参数、阵列分割方法与缓存分割方法对神经网络进行时间与能耗双目标优化从而改进神经网络模型。

技术领域

本申请涉及人工神经网络技术领域，尤其是一种神经网络优化方法。

背景技术

随着神经网络技术的崛起，适应不同应用场景的神经网络硬件应运而生。神经网络的推理预测能力强但计算量大，因此如何提升神经网络计算的速度和降低神经网络能耗成为了关键。

相关技术中，神经网络训练过程和推断过程对于网络计算的加速都有着较为迫切的需求。网络训练基本都在云端利用GPU完成，不同硬件的并行化方法和通信方法会大大影响神经网络训练的速度，因此主要从提高并行化计算能力和降低通信开销的角度来提升神经网络计算速度。神经网络的能耗可以分成计算能耗和访存能耗两个方面。通过输出固定(output stationary)、权重固定(weight stationary)的不同数据复用方式，可以有效地降低神经网络的访存能耗。

但上述对于神经网络计算的研究都侧重于低能耗或加快计算速度中的一者，没有考虑到在复杂的应用环境中神经网络的加速和能量感知可能存在一定矛盾，在降低能耗时可以以牺牲速度为代价或者以能量，而降低神经网络计算的时间又可能会产生更多能耗的问题。

发明内容

为至少在一定程度上克服相关技术中对于神经网络计算的研究都侧重于低能耗或加快计算速度中的一者，没有考虑到在复杂的应用环境中神经网络的加速和能量感知可能存在一定矛盾，在降低能耗时可以以牺牲速度为代价或者以能量，而降低神经网络计算的时间又可能会产生更多能耗的问题，本申请提供一种神经网络优化方法。

预设建模参数，所述建模参数包括网络参数和硬件参数；

基于所述建模参数构建神经网络能耗模型；

基于所述建模参数构建神经网络时间模型；

对所述神经网络能耗模型和神经网络时间模型进行双目标优化。

进一步的，所述能耗计算公式为E＝V*T*e，V为需要读写/计算的数据量，T为需要重复读写/计算的次数，e为单位能耗。

进一步的，所述单位能耗包括读写能耗和计算能耗。

进一步的，所述构建神经网络能耗模型包括：对神经网络能耗进行逐层建模，得到卷积层能耗模型、全连接层能耗模型、RNN层能耗模型、池化层能耗模型。

进一步的，所述神经网络时间模型包括时间开销，所述时间开销包括卷积层时间开销和全连接层时间开销。

进一步的，所述时间开销计算方法为时间开销Tz＝max(T^IO,T^operation)，T^IO为读写时间，T^operation为计算时间。

进一步的，所述对所述神经网络能耗模型和神经网络时间模型进行双目标优化，包括：

使用TM计算流程对所述神经网络时间模型进行缓存分割；

使用AP计算流程对所述神经网络能耗模型进行阵列分割；

选取所述缓存分割满足要求条件小所述对应能耗最小的阵列分割方法。

进一步的，所述选取所述缓存分割满足要求条件小所述对应能耗最小的阵列分割方法，包括：