[发明专利]一种软件定义硬件数据处理方法、装置、设备及可读介质

说明书

本发明公开了一种软件定义硬件数据处理方法，包括以下步骤：将控制逻辑以指令形式存入人工智能引擎中，并基于其为人工智能引擎配置指令集合；获取主机下发的数据信息和指令信息，并基于指令集合对指令信息进行译码以得到表示控制逻辑的操作命令；对操作命令进行解析并发送至计算模块执行，以对数据信息进行处理；以及将处理结果存入本地数据存储和/或共享至其他人工智能引擎。本发明还公开了一种软件定义硬件数据处理装置、计算机设备和可读存储介质。本发明简化硬件控制逻辑，以指令的形式实现每个硬件模块可以实现多种算子计算功能，具体计算功能可以由指令进行定义，具有较高的灵活性与通用性。

技术领域

本发明涉及人工智能技术领域，尤其涉及一种软件定义硬件数据处理方法、装置、设备及可读介质。

背景技术

神经网络是一类机器学习算法，他使用一层或多层神经网络算子进行输入数据的特征提取和转换，可以实现对输入数据的模式识别等人工智能领域的处理功能。神经网络包含输入层与输出层，并且可以可选地在输入层与输出层之间包含一个或多个隐藏层。深度神经网络，也称作深度学习，是一种隐藏层较多的神经网络，其具有计算量大、识别精度高等特点，是机器学习中被广泛应用的一种技术。

由于以CPU为核心的传统的计算机架构主要用于处理，难以满足深度神经网络的巨大计算量，异构计算架构被广泛应用于深度神经网络计算领域。异构计算架构是指使用不同类型的指令集和体系结构的计算单元组成系统的计算方式，常见的异构计算架构包括：CPU+GPU、CPU+FPGA、CPU+ASIC等。CPU+GPU架构应用较为普遍，但功耗较高且成本较高；CPU+FPGA架构计算能力有限且成本不低；而CPU+ASIC架构以较高的性能与较低的功耗与成本成为深度神经网路计算的趋势。

现有的大部分深度神经网络领域的CPU+ASIC异构计算架构中，CPU作为Host端，ASIC作为Device端，两者较少进行命令与数据交互。CPU主要进行任务部署与数据预处理等工作，核心功能是数据的拷贝；ASIC作为深度神经网络加速器，主要进行深度神经网络的运算，包含卷积运算、标量运算与向量运算等。

深度神经网络芯片计算量大，且并行计算的控制逻辑较为复杂，现有的深度神经网络芯片中含有大量的计算控制单元，但芯片中的资源有限，大量的计算控制单元占用了过多的资源，导致计算资源与存储资源占比变少，限制了深度神经网络芯片的计算性能。现有的深度神经网络加速器功能比较单一，仅适用于某一领域或某几个领域的应用，硬件模块的实现的算子计算功能相对固定，难以实现不同应用之间的加速器通用性适配与新模型新算子开发。

发明内容

有鉴于此，本发明实施例的目的在于提出一种软件定义硬件数据处理方法、装置、设备及可读介质，简化硬件控制逻辑，以指令的形式实现每个硬件模块可以实现多种算子计算功能，具体计算功能可以由指令进行定义，具有较高的灵活性与通用性。应用于深度神经网络芯片设计，可大幅提高芯片的计算性能与通用性，灵活支持CNN、RNN、LSTM等领域的深度学习训练与推理。

基于上述目的，本发明实施例的一方面提供了一种软件定义硬件数据处理方法，包括以下步骤：将控制逻辑以指令形式存入人工智能引擎中，并基于其为人工智能引擎配置指令集合；获取主机下发的数据信息和指令信息，并基于指令集合对指令信息进行译码以得到表示控制逻辑的操作命令；对操作命令进行解析并发送至计算模块执行，以对数据信息进行处理；以及将处理结果存入本地数据存储和/或共享至其他人工智能引擎。

在一些实施方式中，将控制逻辑以指令形式存入人工智能引擎中包括：将控制逻辑以指令形式存入人工智能引擎的指令存储中。

在一些实施方式中，指令包括执行计算机操作的类型、数据地址和类型。

在一些实施方式中，获取主机下发的数据信息和指令信息包括：为每个人工智能引擎设置ID；获取主机基于ID下发的数据信息和指令信息。