[发明专利]一种机器学习推理协处理器

说明书

本发明实施例提供一种机器学习推理协处理器，包括推理单元和控制单元。所述推理单元用于读取任务指令、数据和参数并进行计算，以实现与所述任务指令相应的推理运算；所述控制单元包括主控制单元和若干通道控制单元。其中，所述主控制单元用于实现对所述机器学习推理协处理器的全局控制；所述若干通道控制单元中各通道控制单元用于根据所述任务指令分别控制所述推理单元中与其对应的通道实现对单一任务或用户的响应。本发明实施例可支持多用户多任务，且可实现灵活的定制化设计。

技术领域

本发明实施例涉及数字芯片技术领域，尤其涉及一种机器学习推理协处理器。

背景技术

随着机器学习技术的发展，卷积神经网络(Convolutional Neural Networks,CNN)和深度神经网络(Convolutional Neural Networks,DNN)计算的应用日益广泛，相应的研究工作也在不断开展。

现有技术中，存在加速CNN和DNN运算的硬件加速方案。但是，现有的硬件加速方案存在一些不足之处。例如，现有的硬件加速方案多是基于嵌入式应用场景，不能支持多用户多任务，不能实现灵活的定制化设计。再如，现有的硬件加速方案只能支持CNN或DNN之一，不能同时支持两种神经网络。又如，现有的硬件加速方案通常需要大量的访问外部存储器，造成性能下降。此外，现有的硬件加速方案软件灵活性和硬件扩展性差。

发明内容

有鉴于此，本发明实施方式所要解决的技术问题是提供一种机器学习推理协处理器，以持多用户多任务，从而实现灵活的定制化设计。

为解决上述问题，本发明实施例提供如下技术方案：

一种机器学习推理协处理器，包括：推理单元，用于读取任务指令、数据和参数并进行计算，以实现与所述任务指令相应的推理运算；控制单元，包括主控制单元和若干通道控制单元；其中，所述主控制单元用于实现对所述机器学习推理协处理器的全局控制；所述若干通道控制单元中各通道控制单元用于根据所述任务指令分别控制所述推理单元中与其对应的通道实现对单一任务或用户的响应。

可选地，所述推理单元包括若干数据管控逻辑单元和若干数据处理逻辑单元；其中，各通道的数据管控逻辑单元具有与之对应的通道控制单元；所述数据处理逻辑单元用于根据所述通道控制单元向主控制单元的申请，与数据管控逻辑单元配合，在所述通道控制单元的控制下实现推理运算。

可选地，所述若干数据管控逻辑单元共享所述若干数据处理逻辑单元。

可选地，所述各数据处理逻辑单元包括线性计算单元和非线性计算单元。

可选地，所述各数据管控逻辑单元包括：用于读取任务指令、数据和参数的读取单元、用于缓存所述数据和参数的主缓存、用于将所述主缓存中的数据和参数分发到线性计算单元的任务分发单元、用于将所述线性计算单元的计算结果分发到非线性计算单元的任务重映射单元、用于收集所述非线性计算单元的计算结果的任务收集单元和用于将来自任务收集单元的计算结果对外输出的写回单元。

可选地，所述主缓存包括固定缓存和管道缓存，用于实现参数和数据的分别独立缓存。

可选地，所述主缓存还包括路由单元和用于实现所述主缓存内部控制的主缓存内部控制单元；所述路由单元耦接所述读取单元、任务分发单元、任务收集单元和固定缓存、管道缓存。

可选地，所述读取单元包括：第一通用总线接口、耦接所述第一通用总线接口和所述通道控制单元的指令读取单元、耦接所述第一通用总线接口和所述主缓存的参数/数据读取单元、用于实现所述读取单元内部控制的读取内部控制单元。

可选地，所述任务分发单元包括：任务分发内部控制单元、用于在所述任务分发内部控制单元控制下在所属从所述主缓存读取数据和参数并组成数据包的数据处理单元、用于将所述数据包传送至所述任务分发内部控制单元选择的线性计算单元的第一输出互联单元。