[发明专利]神经网络处理器和用于神经网络处理器的任务调度方法

说明书

本申请实施例公开了神经网络处理器和用于神经网络处理器的任务调度方法。该神经网络处理器的一具体实施例包括：任务存储模块、调度模块以及任务执行模块；任务存储模块用于存储外部处理器分配的任务信息，任务信息包括用于指示任务的任务类型的信息；调度模块用于将任务存储模块所存储的任务信息分配给任务执行模块；任务执行模块执行任务信息所指示的任务。缩短了任务执行模块在完成上一次的计算任务以及接收到下一次的计算任务期间的空闲时间，提高了神经网络处理器的利用率，延长了神经网处理器的有效工作时间。从而可以缩短对神经网络进行训练或使用神经网络进行预测所需的时间。

技术领域

本申请实施例涉及集成电路技术领域，具体涉及人工智能技术领域，尤其涉及神经网络处理器和用于神经网络处理器的任务调度方法。

背景技术

随着人工智能技术的快速发展，深度神经网络的模型规模越来越大、训练数据也越来越多，使用专用的神经网络处理器来进行深度神经网络训练与预测计算的趋势愈发明显。

神经网络处理器直接针对深度神经网络中典型的、高计算密集型的计算任务进行特殊的优化，例如矩阵计算(或矩阵计算中涉及到的乘累加)、激活运算、向量运算等。一般来讲，神经网络处理器包含若干不同的执行单元。由外部处理器对每个执行单元的所执行的任务进行调度。每个执行单元可以接收外部处理器分配的任务并执行。

发明内容

本申请实施例提出了一种神经网络处理器和用于神经网络处理器的任务调度方法。

第一方面，本申请实施例提供了一种神经网络处理器，该神经网络处理器包括：任务存储模块、调度模块以及任务执行模块；所述任务存储模块用于存储外部处理器分配的任务信息，所述任务信息包括用于指示任务的任务类型的信息；所述调度模块用于将任务存储模块所存储的任务信息分配给任务执行模块；所述任务执行模块执行任务信息所指示的任务。

在一些实施例中，所述任务存储模块包括至少一个先进先出存储器，每一个所述先进先出存储器用于存储多个任务信息。

在一些实施例中，每一个所述先进先出存储器所存储的多个任务信息中，至少两个任务信息各自指示的任务类型不相同。

在一些实施例中，所述任务执行模块包括多个任务执行单元；所述任务执行单元在完成所述调度模块分配的任务之后，向所述调度模块发送用于指示任务完成的反馈信息。

在一些实施例中，所述任务执行模块中的多个所述任务执行单元中，至少两个任务执行单元各自对应的任务类型不相同。

在一些实施例中，每一先进先出存储器中存储了一个任务队列；以及调度模块响应于接收到每一任务执行单元的反馈信息，确定该任务执行单元对应的任务类型，从每一任务队列的对头所对应的任务信息中确定出与该任务类型对应的任务信息，将所确定的任务信息分配给该任务执行单元；并向外部处理器发送中断请求。

在一些实施例中，所述外部处理器与所述神经网络处理器之间通过PCIE总线实现通信连接。

第二方面，本申请实施例提供了一种用于神经网络处理器的任务调度方法，所述神经网络处理器包括任务存储模块、调度模块以及任务执行模块，所述方法包括：所述调度模块响应于接收到所述任务执行模块发送的用于指示任务完成的反馈信息，从所述任务存储模块所存储的多个任务信息中选取与所述任务执行模块对应的任务信息分配给所述任务执行模块；其中，所述任务存储模块存储了由外部处理器分配的多个任务信息，所述任务信息包括用于指示任务的任务类型的信息；所述调度模块根据所述反馈信息生成中断请求，将所述中断请求发送给外部处理器。