[发明专利]一种深度学习模型分布式运算的方法及装置

说明书

本发明涉及了一种深度学习模型分布式运算的方法及装置，其中该方法包括：在设备管理列表中注册虚拟处理器；注册并编写虚拟处理器支持的算子；检测虚拟处理器相关联的硬件资源，并根据相关联的各硬件资源的算力确定硬件资源各自的分配比例；基于虚拟处理器支持的算子配置深度学习模型，并为深度学习模型中使用的算子指定虚拟处理器；虚拟处理器根据分配比例为虚拟处理器相关联的硬件资源分配相应算子的输入数据以进行运算，并将各硬件资源的运算结果合并为相应算子的输出。本发明引入了虚拟处理器的构思，为相应的算子指定虚拟处理器作为运算设备，将运算分配给不同的硬件设备来实现并行执行，从而实现了深度学习模型运算的异构加速。

技术领域

本发明涉及人工智能技术领域。本发明进一步涉及一种深度学习模型分布式运算的方法及装置。

背景技术

TensorFlow是目前深度学习领域使用最广泛的深度学习框架，很多深度学习模型都基于TensorFlow来实现，大部分硬件厂商(包括ASIC和FPGA厂商)都将TensorFlow作为深度学习的首要支持框架。目前常用推理计算单元为GPU、CPU和TPU，并不支持FPGA进行深度学习训练。

TensorFlow是一种数据流图模式的运算，根据算子来支持，目前的实现方案通常只能是一个算子在执行运算时只能分配到一种硬件上。当模型串行执行时，其它硬件在等待上一个算子的结果，无法并行计算。

另外，目前的厂商仅大部分支持TensorFlow模型的推理，但通常仅CPU、GPU、TPU支持TensorFlow的训练。部分厂商实现了FPGA支持TensorFlow推理，现有的TensorFlow支持FPGA训练的方案仅限于在单机场景实现了FPGA训练。

此外，现有的技术方案中绝大部分是基于GPU进行的。而GPU相较于FPGA，功耗比低。而现有的FPGA方案仅支持单机训练，TensorFlow大模型的训练动辄需要上月时间，模型开发周期长，无法满足日益增长的模型训练需求。

基于上述问题，需要提出一种在TensorFlow中支持多种硬件同时加速运算的方法，在利用TensorFlow原有的运行机制和编程接口的基础上，实现对虚拟处理器VPU的支持，从而加快深度学习模型的运算速度。

发明内容

一方面，本发明基于上述目的提出了一种深度学习模型分布式运算的方法，其中该方法包括以下步骤：

在设备管理列表中注册虚拟处理器；

注册并编写虚拟处理器支持的算子；

检测虚拟处理器相关联的硬件资源，并根据相关联的各硬件资源的算力确定硬件资源各自的分配比例；

基于虚拟处理器支持的算子配置深度学习模型，并为深度学习模型中使用的算子指定虚拟处理器；

虚拟处理器根据分配比例为虚拟处理器相关联的硬件资源分配相应算子的输入数据以进行运算，并将各硬件资源的运算结果合并为相应算子的输出。

根据本发明的深度学习模型分布式运算的方法的实施例，其中虚拟处理器相关联的硬件资源包括CPU、GPU和FPGA中的一种或多种。

根据本发明的深度学习模型分布式运算的方法的实施例，其中注册并编写虚拟处理器支持的算子进一步包括：在同一算子中编写用于CPU、GPU和FPGA的运算指令及相应的适配指令。

根据本发明的深度学习模型分布式运算的方法的实施例，其中基于虚拟处理器支持的算子配置深度学习模型，并为深度学习模型中使用的算子指定虚拟处理器进一步包括：基于TensorFlow框架构建深度学习模型，并为深度学习模型中各层选择相应的虚拟处理器支持的算子。

根据本发明的深度学习模型分布式运算的方法的实施例，其中虚拟处理器支持的算子包括前向算子和该前向算子相关的后向算子。