[发明专利]一种数据处理方法、装置及计算机可读存储介质

说明书

本发明实施例提供一种数据处理方法、装置及计算机可读存储介质，该方法包括：接收来自DSP的加速任务，加速任务携带有计算类型和计算数据；确定计算类型对应的硬件和该硬件的驱动函数，硬件为深度学习中用于算子运算的专用芯片；通过驱动函数驱动硬件对计算数据进行处理。本发明实施例，可以提高数据处理效率。

技术领域

本发明涉及机器学习领域，具体涉及一种数据处理方法、装置及计算机可读存储介质。

背景技术

随着计算机技术的不断发展，需要处理的数据越来越多。因此，为了提高数据处理效率，业界引入了深度学习(deep learning)。深度学习是学习样本数据的内在规律和表示层次，以便可以使机器能够像人一样具有分析学习能力，能够处理数据。然而，随着深度学习中模型的结构越来越复杂，如果所有模型都通过软件来实现的话，模型处理数据的过程都是在数字信号处理器(digital signal processor，DSP)上进行，以致降低了数据处理效率。

发明内容

本发明实施例提供一种数据处理方法、装置及计算机可读存储介质，用于提高数据处理效率。

第一方面提供一种数据处理方法，包括：

接收来自DSP的加速任务，所述加速任务携带有计算类型和计算数据；

确定所述计算类型对应的硬件和所述硬件的驱动函数，所述硬件为深度学习中用于算子运算的专用芯片；

通过所述驱动函数驱动所述硬件对所述计算数据进行处理。

由于加速任务是在硬件上进行的，而硬件为研发人员根据需要自主研发的深度学习中用于算子运算的专用芯片，只用于处理某一个或多个算子的运算，可以提高这些算子的计算效率，因此，可以提高数据处理效率。

作为一种可能的实现方式，所述加速任务还携带有头信息，所述确定所述计算类型对应的硬件和所述硬件的驱动函数包括：

根据所述头信息确定所述加速任务对应的硬件链路(hardware link，HL)；

从所述HL包括的硬件中选取所述计算类型对应的硬件；

获取选取的硬件的驱动函数。

可以根据加速任务携带的头信息、计算类型和计算数据快速准确地确定执行该加速任务的硬件以及该硬件的驱动函数，可以进一步提高数据处理效率。

作为一种可能的实现方式，所述方法还包括：

接收来自所述DSP的配置信息，所述配置信息包括为所述加速任务对应的任务配置的HL的信息，所述HL的信息携带有所述任务的头信息；

所述根据所述头信息确定所述加速任务对应的HL包括：

将携带的头信息与所述加速任务携带的头信息相同的配置信息对应的HL，确定所述加速任务对应的HL。

预先配置有加速任务对应的任务的配置信息，以便可以根据该配置信息和加速任务携带的信息快速准确地确定执行该加速任务的硬件以及该硬件的驱动函数，可以进一步提高数据处理效率。

作为一种可能的实现方式，所述HL的信息包括所述HL包括的队列(queue)的描述符，所述描述符用于描述硬件的工作方式；

所述从所述HL包括的硬件中选取所述计算类型对应的硬件包括：

从所述HL的信息包括的描述符中选取所述计算类型对应的描述符；

将所述描述符对应的硬件确定为所述计算类型对应的硬件；

所述通过所述驱动函数驱动所述硬件对所述计算数据进行处理包括：