[发明专利]人工智能加速器、设备、芯片及数据处理方法

说明书

本申请实施例公开了一种人工智能加速器、设备、芯片及数据处理方法；该人工智能加速器具备第一加速并行度和第二加速并行度；该人工智能加速器包括控制单元、计算引擎、分组控制单元及分组缓存单元；分组缓存单元按照第一加速并行度设有多个输出缓存；其中，控制单元，用于解析神经网络模型中的目标网络层的处理指令，得到并发指令；计算引擎，用于按照并发指令对目标网络层的输入数据集合中的目标输入数据块执行并行处理，得到目标输入数据块对应的目标输出数据；分组控制单元，用于将目标输出数据分组存储至分组缓存单元的至少一个输出缓存中。本申请实施例可以对神经网络模型的处理过程进行有效加速，合理提升神经网络模型的加速效果。

技术领域

本申请涉及互联网技术领域，具体涉及人工智能技术领域，尤其涉及一种人工智能加速器、一种人工智能加速设备、一种人工智能加速芯片及一种数据处理方法。

背景技术

随着科学技术的发展，神经网络模型已经成功应用于图像识别处理、自动驾驶等诸多领域。然而，随着应用需求的不断丰富，神经网络模型中的网络层越来越多；网络层的增多导致了神经网络模型的模型深度越来越大，从而使得神经网络模型的计算量显著增大，导致神经网络模型的处理效率较低。并且，针对一些图像精度要求较高的应用场景(如医疗图像识别场景、高清视频识别场景)，神经网络模型的输入数据的大小通常达到了2k*2k，甚至5k*5k；较大的输入数据会进一步加大神经网络模型的计算压力。因此，如何对神经网络模型进行加速处理成为了研究热点。

发明内容

本申请实施例提供了一种人工智能加速器、设备、芯片及数据处理方法，可以对神经网络模型的处理过程进行有效加速，合理提升神经网络模型的加速效果。

一方面，本申请实施例提供了一种人工智能加速器，所述人工智能加速器具备第一加速并行度和第二加速并行度；所述人工智能加速器包括控制单元、计算引擎、分组控制单元及分组缓存单元；所述分组缓存单元按照所述第一加速并行度设有多个输出缓存；

所述控制单元，用于解析神经网络模型中的目标网络层的处理指令，得到并发指令；所述目标网络层为所述神经网络模型中的任一网络层，所述目标网络层的输入数据集合中包括多个输入数据块，所述输入数据块的深度是按照所述第二加速并行度进行适配处理得到的；

所述计算引擎，用于按照所述并发指令对所述输入数据集合中的目标输入数据块执行并行处理，得到所述目标输入数据块对应的目标输出数据；所述目标输入数据块为所述输入数据集合中的任一个输入数据块；

所述分组控制单元，用于将所述目标输出数据分组存储至所述分组缓存单元的至少一个输出缓存中。

另一方面，本申请实施例提供了一种数据处理方法，所述数据处理方法由上述的人工智能加速器来执行，所述人工智能加速器具备第一加速并行度和第二加速并行度；所述人工智能加速器按照所述第一加速并行度设有多个输出缓存；所述数据处理方法包括：

解析神经网络模型中的目标网络层的处理指令，得到并发指令；所述目标网络层为所述神经网络模型中的任一网络层，所述目标网络层的输入数据集合中包括多个输入数据块，所述输入数据块的深度是按照所述第二加速并行度进行适配处理得到的；

按照所述并发指令对所述输入数据集合中的目标输入数据块执行并行处理，得到所述目标输入数据块所对应的目标输出数据；所述目标输入数据块为所述输入数据集合中的任一个输入数据块；

将所述目标输出数据分组存储至至少一个输出缓存中。

再一方面，本申请实施例提供了一种人工智能加速设备，所述人工智能加速设备中包括上述的人工智能加速器。

再一方面，本申请实施例提供了一种人工智能加速芯片，所述人工智能加速芯片内封装有上述的人工智能加速器。