[发明专利]人工神经网络处理系统及其数据处理方法

说明书

本申请公开了一种人工神经网络处理系统及其数据处理方法。所述系统包括：控制模块、运算模块和存储模块；控制模块包括缓存控制单元，缓存控制单元被配置为执行人工神经网络运算缓存的控制；运算模块包括一个或多个主运算单元，主运算单元被配置对人工神经网络结构中的各网络层执行运算；存储模块包括融合存储单元，融合存储单元被配置为执行人工神经网络各网络层运算数据的加载和运算结果的缓存；其中，融合存储单元包括片上存储器和片外存储器，片上存储器的缓存地址和片外存储器的缓存地址被统一编码形成统一地址值。上述方案能够保证人工神经网络运算的并行度、兼容性、可扩展性，且在保证高性能同时降低了系统的功耗水平。

技术领域

本申请涉及人工智能技术领域，具体涉及一种人工神经网络处理系统及其数据处理方法、电子设备和可读存储介质。

背景技术

近年来，基于人工神经网络的智能解决方案越来越丰富，英伟达公司围绕GPU搭建人工智能生态；赛灵思公司基于FPGA搭建了AI架构的处理设备和开发套件；谷歌公司于2016年推出的TPU可实现深度学习卷积神经网络的完整推理工作。在各大公司的边缘计算设备(边缘计算设备是指在靠近物或数据源头的一侧，采用网络、计算、存储、应用核心能力为一体的开放平台，可就近提供最近端服务)中，存储模块在整个体系结构中至关重要，GPU使用外部存储器GDDR(Graphics Double DataRate)为人工神经网络的训练和推理提供高速带宽，TPU使用全片上存储资源为AI算法推理提供高并行的数据缓存。

在现有的人工神经网络的存储模块方案中，GPU在训练和推理过程中都使用外部存储器GDDR作为缓存，高速的时钟频率带来了可观的运算速度，但也带来了巨大的功耗，很难用于小型化AI设备和云服务器等设备中。TPU使用全片上存储资源进行人工神经网络推理过程中的缓存，虽然降低了整体功耗，然而由于片上存储资源有限可能会发生溢出，并且该存储结构对新功能层的兼容性不足。

申请内容

鉴于上述问题，提出了本申请以便提供一种克服上述问题或者至少部分地解决上述问题的一种人工神经网络处理系统及其数据处理方法。

依据本申请的一个方面，提供了一种人工神经网络处理系统，包括：控制模块、运算模块和存储模块；

所述控制模块包括缓存控制单元，所述缓存控制单元被配置为执行人工神经网络运算缓存的控制；

所述运算模块包括一个或多个主运算单元，所述主运算单元被配置对人工神经网络结构中的各网络层执行运算；

所述存储模块包括融合存储单元，所述融合存储单元被配置为执行人工神经网络各网络层运算数据的加载和运算结果的缓存；其中，所述融合存储单元包括片上存储器和片外存储器，所述片上存储器的缓存地址和所述片外存储器的缓存地址被统一编码形成统一地址值。

可选的，所述片上存储器、所述缓存控制单元和所述主运算单元被配置在同一芯片上。

可选的，所述片上存储器的存储区域包括片上缓存一区和片上缓存二区，所述片外存储器的存储区域包括片外缓存一区、片外缓存二区，且所述片上缓存一区、片外缓存一区、片上缓存二区、片外缓存二区依次被统一编码形成统一地址值。

可选的，所述片上存储器包括两列对称设置的静态RAM缓存矩阵，分别由若干个静态RAM和控制器组成。

可选的，所述控制模块还包括主控制器，所述主控制器被配置为执行如下的至少一种操作：人工神经网络的运算指令收发，人工神经网络的运算流程调度，人工神经网络功能决策；和/或，

所述运算模块还包括辅助运算单元，所述辅助运算单元被配置为对人工神经网络运算数据进行预处理和/或对运算结果进行采集；和/或，

所述存储模块还包括辅助存储单元，所述辅助存储单元被配置为人工神经网络各网络层的运算加载权重参数；