[发明专利]一种用于实现ANN的深度处理单元

权利要求书

1.一种用于实现ANN的深度处理单元(DPU)，包括：

通用处理器模块(PS)，包括：

CPU，用于运行程序指令；

数据和指令总线，用于所述CPU与所述PL之间的通信；

外部存储器，用于保存：ANN的权重参数和指令，以及需要被ANN处理的输入数据；可编程处理器模块(PL)，包括

控制器(Controller)，用于获取外部存储器上的指令，并基于所述指令对复杂计算核进行调度；

复杂计算核(Computing Complex)，包括多个计算单元(PE)，用于基于所述指令、权重和数据进行计算任务；

输入缓冲区，用于准备所述复杂计算核计算需要使用的权重、输入数据、指令；

输出缓冲区，保存中间数据和计算结果；

直接存储器访问器(DMA)，与所述通用处理器模块的数据和指令总线相连接以用于PL和PS之间的通信，所述CPU配置可编程处理器模块(PL)的直接存储器访问器(DMA)。

2.根据权利要求1的深度处理单元，所述计算单元(PE)包括：

复杂卷积核(convolver complex)，与所述输入缓冲器相连以接收ANN的权重，输入数据，用于进行所述ANN中的卷积计算操作；

加法树(adder tree)，与所述复杂卷积核连接，用于对卷积计算操作的结果求和；

非线性化模块，与所述加法树连接，用于把非线性函数操作应用到所述加法树的输出；

汇集模块，与所述非线性模块连接，用于进行所述ANN中的汇集操作；

偏置移位器(bias shift)，与所述输入缓冲器连接，用于移位所述权重到不同的量化范围，所述权重为被量化的定点数，并把移位后的权重输出给所述加法树；

数据移位器(data shift)，与所述输出缓冲器连接，用于移位所述数据到不同的量化范围，所述数据为被量化的定点数。

3.根据权利要求2的深度处理单元，所述复杂卷积核(Convolver complex)包括多个卷积器，所述卷积器由二维乘法器集合实现。

4.根据权利要求1的深度处理单元，输入缓冲器进一步包括：

权重缓冲器，用于保存运算需要的权重，

线状数据缓冲器(line buffer)，用于保存运算需要的数据，并延迟释放所述数据，以实现所述数据的重用。

5.根据权利要求1的深度处理单元，所述控制器进一步包括：

指令译码模块，用于译码被输入的指令；

调度模块，用于基于译码后的指令调度所述多个计算单元。

6.根据权利要求1的深度处理单元，其中所述控制器进一步包括：

中断单元，用于发送中断信号给CPU，所述CPU根据所述中断信号发送数据读写指令给直接存储器访问器(DMA)。

7.根据权利要求1的深度处理单元，所述控制器进一步包括：

指令粒度转换单元，用于基于所述复杂计算核所包括的计算单元的个数，把来自所述外部存储器的粗粒度指令转换为细粒度指令。

8.根据权利要求4的深度处理单元，所述外部存储器接收的指令被配置：

根据因子Tr、Tc将输入数据行和列进行分片。

9.根据权利要求8的深度处理单元，所述线状数据缓冲器被用于保存所述被分片的输入数据。

10.根据权利要求8的深度处理单元，其中所述外部存储器被配置为基于所述因子Tr、Tc而分区保存所述分片数据。

11.根据权利要求1的深度处理单元，其中在CPU上实现ANN的Softmax函数。