[发明专利]可编程人工智能加速器执行单元及人工智能加速方法

说明书

本发明实施例公开了一种可编程人工智能加速器执行单元及其人工智能加速方法，所述可编程人工智能加速器执行单元包括取指模块、译码模块和执行模块，能够执行人工智能加速器指令集编写的人工智能加速程序实现人工智能算法加速。本发明实施例实现了一款人工智能加速器能够高效适配多种人工智能算法，从而有效利用了硬件算力，节约了硬件成本。

技术领域

本发明涉及人工智能(AI)应用领域，特别是涉及一种可编程人工智能加速器执行单元及人工智能加速方法。

背景技术

随着大数据、人工智能技术的快速发展，传统的中央处理器CPU的运算处理能力已经无法满足人工智能运算的处理需求，业内处理器厂商开始研发专用的人工智能加速器用于人工智能算法加速。

现有的人工智能加速器大多使用ASIC专用集成电路设计方法进行设计，根据这种方法设计的人工智能加速器通常用于特定的人工智能算法加速。然而，随着人工智能技术在各领域的普遍应用，作为人工智能技术基础的机器学习算法、尤其是深度学习算法也是多种多样。为了使得一种人工智能加速器能够支持多种人工智能算法的运算加速，现有的一种方案是从功能的角度提取人工智能算法的通用逻辑，通过硬件控制，使得多种人工智能算法可以在相同的硬件逻辑上运行，从而达到一款ASIC人工智能加速器可以实现对多种人工智能算法进行加速的目的。例如，可以将人工智能算法抽象为矩阵乘法(MatrixMultiply)、激活(Activation)和规范化/池化(Normalize/Pool)三种基本功能操作，结合硬件控制达到用一种人工智能加速器实现多种人工智能算法的目的。

但是，这种方法是从功能的角度对常用的人工智能算法进行抽象，而不同的人工智能算法对硬件的利用率不同，这种抽象方法必然会导致一部分硬件对一些人工智能算法是冗余的，而对其它人工智能算法却是不足的。此外，通过ASIC思路设计的人工智能加速器执行单元只能按照固定的流程执行人工智能算法。随着人工智能算法的不断研究，各种算法也在不断发展演进，当新的人工智能算法出现时，原有的人工智能加速器硬件已经无法高效适配新的算法加速，从而导致硬件的算力浪费和成本上升。

发明内容

为了解决上述问题，根据本发明的一方面，提出一种可编程人工智能加速器执行单元，包括：

取指模块，用于获取人工智能加速程序指令，并控制程序执行的流程；

译码模块，用于根据获取的指令的类型进行译码操作，生成程序执行需要的控制信息；

执行模块，用于根据译码生成的控制信息执行相应的运算操作，并输出执行结果。

在一些实施方式中，所述取指模块包括取指控制模块，用于根据配置寄存器的配置，开始运行基于人工智能加速器指令集编写的人工智能加速程序，控制人工智能加速程序指令的获取。

在一些实施方式中，所述取指模块包括指令表和表索引生成模块，表索引生成模块用于根据配置寄存器的配置和执行的程序地址，生成指令表索引，并按照指令表索引从指令表中获取需要执行的一组指令。

在一些实施方式中，所述取指控制模块还用于将所述获取的需要执行的一组指令发送给所述译码模块。

在一些实施方式中，所述译码模块包括分别对应不同指令类型的多个译码单元。

在一些实施方式中，所述译码模块用于将所述译码单元进行译码操作后获得的控制信息通过命令总线分别传输给所述执行模块。

在一些实施方式中，所述执行模块包括多个EU执行单元，所述EU执行单元从译码模块接收译码后的控制信息，对输入的多个操作数进行相应的指令操作运算，并输出运算结果。

在一些实施方式中，所述执行模块包括加法树操作执行单元，所述加法树操作执行单元用于对所述多个EU执行单元的运算结果进行相加操作，输出相加后的运算结果。