[发明专利]计算系统、硬件加速模块管理方法和装置以及存储介质

说明书

本发明公开了一种计算系统、硬件加速模块管理方法和管理装置、用于实现该硬件加速模块管理方法的计算设备及存储介质。该计算系统包括：应用层；一个或多个硬件加速模块，用于响应于应用层的调用指令，执行各自预定的计算功能；以及接口层，设置有一个或多个接口，分别用于实现应用层与一个或多个硬件加速模块之间的对接。应用层向接口层发送调用硬件加速模块来执行计算功能的调用指令，接口层基于调用指令，通过对应的接口向用于执行计算功能的硬件加速模块分配计算任务。通过采用根据本发明的上述技术方案，能够灵活地管理和调度硬件加速模块。

技术领域

本发明涉及计算系统中包含的多个硬件加速器的调度方案，特别涉及一种计算系统、硬件加速模块管理方法和管理装置、用于实现该硬件加速模块管理方法的计算设备及存储介质。

背景技术

近几年，神经网络与深度学习技术广泛应用于图像处理与语音识别领域，取得了很好的应用效果。与此同时，此类算法对算力的需求也催生了庞大的加速器(或称为“加速模块”、“硬件加速模块”)市场。不管是使用GPU，还是FPGA抑或是ASIC，都是凭借其架构对神经网络算法的友好性来实现比CPU更好的效率。

为了使应用能够调用外接的硬件加速模块，需要在应用中添加相应代码，以便向加速模块发送调用指令以及相应数据。

这样，加速模块的添加提高了算法和应用开发的难度。

进一步地，在实际应用中，可能需要多个加速模块协同工作来达到最优效果。不同的加速模块功能不一、接口不一，使用方式也不一样。当外接多个加速模块时，特别是外接多个不同类型的加速模块时，需要在应用中分别添加多段相应的代码。不同类型或不同功能的加速模块往往需要不同的指令代码或具有数据输入输出格式，因此需要在应用中分别编写添加代码。这对管理和调度提出了挑战。

因此，需要一种灵活的管理与调度方法，充分释放加速器的能力并同时保证上层应用接口的易用性。

发明内容

本发明所要解决的技术问题是提供一种计算系统、硬件加速模块管理方法和管理装置、用于实现该硬件加速模块管理方法的计算设备及存储介质，其能够灵活地管理和调度硬件加速模块。

根据本发明的第一个方面，提供了一种计算系统，包括：应用层；一个或多个硬件加速模块，用于响应于应用层的调用指令，执行各自预定的计算功能；以及接口层，设置有一个或多个接口，分别用于实现应用层与一个或多个硬件加速模块之间的对接，其中，应用层向接口层发送调用硬件加速模块来执行计算功能的调用指令，接口层基于调用指令，通过对应的接口向用于执行计算功能的硬件加速模块分配计算任务。

根据本发明的第二个方面，提供了一种用于计算系统的硬件加速模块管理方法，该计算系统包括应用层、接口层和一个或多个硬件加速模块，硬件加速模块用于响应于应用层的调用指令执行各自预定的计算功能。该方法包括：由接口层维护一个或多个接口，一个或多个接口分别用于实现应用层与一个或多个硬件加速模块之间的对接；接口层从应用层接收调用硬件加速模块来执行计算功能的调用指令；以及接口层基于调用指令，通过对应的接口向用于执行计算功能的硬件加速模块分配计算任务。

可选地，接口层可以根据调用指令，确定对应于执行计算功能的硬件加速模块的接口，以便通过接口向硬件加速模块分配计算任务。

可选地，接口能够与多个执行相同计算功能的同功能硬件加速模块对接，并在多个同功能硬件加速模块之间分配计算任务。

可选地，接口层可以针对每个接口分别维护对应的任务队列。

可选地，该计算系统还可以包括缓存；应用层可以将执行计算功能所需的输入数据保存到缓存上；硬件加速模块根据为其分配的计算任务，从缓存读取相应的输入数据，并将执行计算功能得到的输出数据写入缓存。

可选地，调用指令可以包括输入数据的输入缓存地址和输出数据的指定输出缓存地址。