[发明专利]一种矩阵乘运算脉动阵列装置及区间配置累加方法

说明书

本发明涉及机器学习技术领域，具体包括一种矩阵乘运算脉动阵列装置及区间配置累加方法，包括呈矩阵排列的运算核心、北向数据加载器、西向数据整形与加载器、累加缓冲器、累加器缓冲控制器、结果写回控制器和本地局部存储器，累加结果回写控制器与累加缓冲器连接，运算核心包括乘法器、加法器和累加数据寄存器，乘法器接收北向数据和西向数据，乘法器计算北向数据和西向数据的乘积，加法器与乘法器及累加数据寄存器连接，加法器计算乘法器输出值与累加数据寄存器值的和。本发明的有益技术效果包括：提高矩阵乘法运算效率，能够灵活配置结果的缓存位置，便于结果的回写。

技术领域

本发明涉及机器学习技术领域，具体包括一种矩阵乘运算脉动阵列装置及区间配置累加方法。

背景技术

人工神经网络(Artificial Neutral Networks)通过模拟动物神经网络行为，以神经元与网络互连为基础构建数学算法模型，进行分布式信息处理，实现机器学习功能，广泛应用于语音处理、图像识别、计算机视觉、自然语言处理和交叉学科等人工智能领域。这些模型由多层神经网络组成，每层网络包含大量的卷积与矩阵乘运算，无论是训练还是推理，均需要计算机提供超高的计算能力与硬件加速架构以支持人工智能加速。采用脉动阵列(Systolic Array)加速矩阵乘或卷积运算是一种可行的方式，脉动阵列为二维运算结构，以数据流驱动方式实现运算加速。脉动阵列各个处理单元(Processing Element,PE)可以在相邻PE间传输数据，通过数据重用，减少对输入/输出数据的存取次数，进而降低访存带宽需求。但目前的脉动阵列存在重用性低及运算效率低的问题。因此有必要继续研究矩阵乘法运算的脉动阵列技术。

发明内容

本发明所要解决的技术问题：目前脉动阵列存在运算效率低的技术问题。提出了一种矩阵乘运算脉动阵列装置及区间配置累加方法，能够提高矩阵运算的效率且能够灵活配置运算模式。

解决上述技术问题，本发明采用如下技术方案：一种矩阵乘运算脉动阵列装置，包括呈矩阵排列的运算核心、北向数据加载器、西向数据整形与加载器、累加缓冲器、累加器缓冲控制器、结果写回控制器和本地局部存储器，相邻运算核心之间建立数据交换通道，所述北向数据加载器与最北一行运算核心连接，所述西向数据整形与加载器与最西一列运算核心连接，所述累加器缓冲控制器与最南一行运算核心连接，所述累加缓冲器与所述累加器缓冲控制器连接，所述累加结果回写控制器与累加缓冲器连接，所述北向数据加载器、西向数据整形与加载器及累加结果写回控制器均与本地局部存储器连接，所述运算核心包括乘法器、加法器和累加数据寄存器，所述乘法器接收北向数据和西向数据，乘法器计算北向数据和西向数据的乘积，所述加法器与乘法器及累加数据寄存器连接，所述加法器计算乘法器输出值与累加数据寄存器值的和，并输出到南侧的运算核心的累加数据寄存器。

作为优选，所述运算核心还包括北向数据影子寄存器、北向数据寄存器、北向更新使能寄存器和西向数据寄存器，所述北向数据影子寄存器与北向数据加载器或者北侧数据调度单元的北向数据影子寄存器连接，所述北向数据寄存器与北向数据影子寄存器连接，所述北向更新使能寄存器与北向数据寄存器连接，同一行北向更新使能寄存器相互连接，同一行西向数据寄存器相互连接，所述乘法器与北向数据寄存器和西向数据寄存器连接。

作为优选，所述运算核心还包括运算模式配置信号线，所述运算模式配置信号线与乘法器及加法器连接，用于传递配置乘法器及加法器运算精度的配置信号。

作为优选，所述运算核心的运算精度的配置信号包括：半精度浮点混合乘加模式配置信号、半字定点混合乘加模式配置信号和双字节定点混合乘加模式配置信号。

作为优选，所述西向数据整形与加载器对西向数据进行整形，整形过程为将西向数据的每行数据向左移动n-1列，n为行序号。

作为优选，所述累加缓冲器设置有多个，每个累加缓冲器对应所述运算核心的一列，所述累加缓冲器包括若干个缓存单元，每个缓存单元存储一个计算结果。