[发明专利]神经网络计算方法、装置和存储介质

说明书

本申请提供了一种神经网络计算方法、装置和存储介质，该方法包括：用片上缓存模块对片外输入数据、神经网络计算参数数据以及神经网络计算中的中间计算结果数据进行缓存；基于预定的神经网络计算模式将缓存的片外输入数据或中间计算结果数据进行数据流重定向操作，并输入到计算模块中；基于预定的神经网络计算模式将缓存的神经网络计算参数数据进行数据流重定向操作，并输入到计算模块中；由计算模块基于重定向操作后的片外输入数据或中间计算结果数据以及经重定向操作后的神经网络计算参数数据按照预定的运算模式进行神经网络计算，并将中间计算结果缓存到片上缓存模块中。本发明能克服现有计算架构与神经网络模型不匹配导致资源利用率低下的问题。

技术领域

本申请涉及数据处理和人工智能技术领域，尤其涉及一种神经网络计算方法、装置和存储介质。

背景技术

随着人工智能算法的繁荣发展，其在很多方面的性能已经超过了人类的极限，如围棋对战，图像分类等。人工智能正在被广泛地应用于各行各业中，逐步地改变着人类生活的方方面面。

神经网络是一类非常重要的人工智能算法，已经有很多影响力较大的神经网络模型被提出，并实现了很好的应用效果，如2012年在大规模视觉识别挑战赛(ILSVRC，ImageNet Large Scale Visual Recognition Competition)中取得图像分类冠军的AlexNet,2014年提出的VGG和GoogLeNet，以及后来更复杂的ResNet等。这些模型的准确率和识别率越来越高，同时各神经网络模型规模也越来越大，所需计算量也急剧增加。神经网络模型分类性能优势主要来源于其复杂的数据处理模型和巨大的计算量。并且，神经网络模型仍朝着更加复杂和计算量更大化的方向展。若使用传统的通用处理器来实现神经网络模型，效率将变得非常低下，需要经过很长(通常需要几十分钟甚至几个小时)的计算时间才能得到不错的结果，无法满足实时性的要求。随着应用对实时性要求不断提高，使用硬件方案进行加速的需求变得越来越迫切。

现有的神经网络硬件加速方案，主要采用全定制的方案，根据给定神经网络模型计算模式，定制控制和数据通路。这种实现方案，往往仅能够支持一种特定的计算模式。但是，发明人发现，随着神经网络模型不同，其对应的最高效的计算模式差异非常大。当神经网络运算在一种低效率的计算模式下，硬件计算资源利用率低下，导致计算性能衰减严重。

发明人在进行神经网络算法的具体实现过程中发现：大部分神经网络模型都无法与现有的计算架构很好的匹配，导致真正计算过程中计算资源利用率极其低下，性能衰减严重。

如何解决上述随着神经网络模型不同导致计算资源利用率低下的问题，变得尤为迫切。

发明内容

有鉴于此，本发明提出了一种计算机软件定义的数据流驱动的神经网络计算方法和装置，以克服上述现有计算架构与神经网络模型不匹配导致资源利用率低下的问题。

本发明的一个方面提供一种数据流驱动的神经网络计算方法，该分法包括：

用片上缓存模块对片外输入数据、神经网络计算参数数据以及神经网络计算中的中间计算结果数据进行缓存；

基于预定的神经网络计算模式将缓存的片外输入数据或中间计算结果数据进行数据流重新定向操作，并输入到计算模块中；

基于预定的神经网络计算模式将缓存的神经网络计算参数数据进行数据流重新定向操作，并输入到计算模块中；

由所述计算模块基于重新定向操作后的片外输入数据或中间计算结果数据以及经重新定向操作后的神经网络计算参数数据按照预定的运算模式进行神经网络计算，并将中间计算结果缓存到所述片上缓存模块中。