[发明专利]支持机器学习训练的专用后端代码生成方法及装置

说明书

本发明提供一种支持机器学习训练的专用后端代码生成方法及装置，所述方法包括：对所述第一计算图进行解析与优化处理，得到第二计算图；基于所述至少一个算子的算子类型将所述至少一个算子分发至算子映射模块，输出每个算子对应的算子调用代码；将所述至少一个算子的内存配置信息输入内存管理模块，输出内存管理代码；基于所述每个算子对应的算子调用代码与所述内存管理代码生成目标后端代码，基于算子库对所述目标后端代码进行编译处理，得到部署文件。本发明实现了一个端到端且支持神经网络训练的编译器，提高了GPU应用于神经网络训练与推理中的运算效率，扩展了GPU的应用范围。

技术领域

本发明涉及计算机技术领域，尤其涉及一种支持机器学习训练的专用后端代码生成方法及装置。

背景技术

图像处理单元(Graphics Processing Unit，GPU)作为在机器学习领域得到普遍应用的传统的神经网络训练后端设备，集成大量的单指令多数据(Single InstructionMultiple Data，SIMD)微处理器，提供巨大的并行计算能力，在神经网络训练中取得很好的成效，但是，由于GPU本身的硬件架构导致GPU在复杂逻辑控制和输入输出(Input Output，IO)密集型计算方面存在很大的提升空间。

目前，GPU作为专用于神经网络训练与推理的芯片，缺乏一个端到端、支持训练和推理的编译器，例如昆仑芯片，使得GPU应用于神经网络训练与推理中的运算效率亟需优化。

发明内容

本发明提供一种支持机器学习训练的专用后端代码生成方法及装置，用以解决GPU应用于神经网络训练与推理中的运算效率亟需优化的问题。

第一方面，本发明提供一种支持机器学习训练的专用后端代码生成方法，包括：

获取第一计算图，对所述第一计算图进行解析与优化处理，得到第二计算图，所述第一计算图为至少一个算子按照第一顺序组成的神经网络模型；

获取第二计算图的至少一个算子，基于所述至少一个算子的算子类型将所述至少一个算子分发至算子映射模块，输出每个算子对应的算子调用代码；

获取所述至少一个算子的内存配置信息，将所述至少一个算子的内存配置信息输入内存管理模块，输出内存管理代码；

基于所述每个算子对应的算子调用代码与所述内存管理代码生成目标后端代码，基于算子库对所述目标后端代码进行编译处理，得到部署文件，所述部署文件用于执行所述第一计算图的计算任务。

可选地，所述算子映射模块包括至少一个算子代码生成器与算子映射器；

所述基于所述至少一个算子的算子类型将所述至少一个算子分发至算子映射模块，输出每个算子对应的算子调用代码，具体包括：

基于所述算子映射器获取至少一个算子的算子类型；

基于所述至少一个算子的算子类型将所述至少一个算子分发至每个算子对应的算子代码生成器；

基于所述至少一个算子与所述算子代码生成器内的代码生成模板类，输出每个算子对应的算子调用代码。

可选地，所述基于所述至少一个算子的算子类型将所述至少一个算子分发至算子映射模块之前，还包括：

获取第一算子，所述第一算子为所述第二计算图中的算子；

基于所述第一算子的算子类型与预设代码生成模板基类生成第一算子对应的代码生成模板类；

基于所述第一算子对应的代码生成模板类生成并注册所述第一算子对应的算子代码生成器。

可选地，所述算子调用代码包括算子函数、输入参数以及函数调用代码中的至少一项；

所述输入参数包括以下各项中的至少一项：