[发明专利]一种多模型融合推理方法

说明书

本发明涉及一种多模型融合推理方法，包括1.模型转换，将多个异构模型转换成标准子模型；2.合成总模型，将标准子模型合成为总模型；3.并行推理，将合成后的总模型加载至GPU，通过CUDA进行推理；4.映射，总模型的推理结果映射回子模型；5.后处理操作，通过多进程技术对推理结束的标准子模型进行后处理操作。本发明只在一个进程中运行，没有进程间、线程间的调度问题，相较于多进程、多线程并行推理方法，推理效率更高；本发明将多个子模型融合为一个总模型，只需一份输入数据，相较于多进程方法，节约了存储资源；本发明基于python命令实现，在实际使用中c、c++、c#等具有计算机视频分析和调用CUDA计算能力的语言均可以实现本方法。

技术领域

本发明涉及一种多模型融合推理方法，属于深度学习框架技术领域。

背景技术

多模型并行推理是深度学习领域的一项重要技术，通过充分利用GPU等硬件资源，尽可能提升模型的推理效率，缩短推理时间，在一些实时性要求高的应用场合十分必要。例如在自动驾驶领域，需要实时检测车道线，同时检测前方的车辆与行人。其中，车道线检测模型一般为图像分割网络，车辆与行人检测模型为目标检测网络，两者相对独立，但串行推理明显不适合。又如在互联网平台评论审核领域，若用户上传了图片，需同时识别图片本身内容和图片中的文字是否违反相关规定甚至违法。图片内容识别模型一般为图像分类或者目标检测网络，文字识别为OCR网络，两者相互独立，并行推理能加快审核速度。

常用的多模型并行推理有多进程方法。其优点是技术成熟，但涉及到多进程间的调度会产生额外的时间开销，此外每个子进程都需要一份独立的输入数据，也消耗了存储资源。多线程方法也能进行并行推理，且可以共享一份输入数据。

本发明着重研究了一种异构多模型并行推理框架。相较于多进程技术，没有调度开销且节约储存资源。

发明内容

为了解决上述技术问题，本发明提供一种多模型融合推理方法，其具体技术方案如下：

一种多模型融合推理方法，包括以下步骤：

步骤1：模型转换，将多个异构模型转换成标准子模型；

步骤2：合成总模型，将标准子模型合成为总模型，总模型设置有多条分支，其分支分别拷贝各子模型的结构和权重，使得总模型的每个分支分别对应一个标准子模型；

步骤3：并行推理，将合成后的总模型加载至GPU，通过CUDA进行推理；

步骤4：映射，总模型的推理结果映射回子模型，使总模型输出为各子模型输出组成的列表，通过列表索引将总模型的推理结果映射回子模型的推理结果；

步骤5：后处理操作，通过多进程技术对推理结束的标准子模型进行后处理操作。

进一步的，所述步骤1中异构模型包括pytorch模型和tensorflow模型，所述多个异构模型统一转换成ONNX模型或TensorRT模型。

进一步的，所述步骤2中以pytorch模型为标准子模型，将其合成为总模型的步骤为：

（1）获取每个标准子模型的模块单元，即标准子模型类中的成员变量；

（2）重命名模块单元，在模块单元的原名称前加标准子模型的名称作为前缀；

（3）获取标注子模型的权重字典，并在key前加标准子模型名称作为前缀；

（4）定义融合后的总模型Fused Model类，Fused Model类成员变量为各标准子模型类的成员变量的合集，pytorch模型中的forward函数为各子模型forward函数的逻辑合并；

（5）将标准子模型的权重字典合并成总模型的权重字典，并加载至总模型类实例化对象。

进一步的，所述步骤3中当GPU卡设置有多块时，则合成后的总模型进行多卡并行推理。

本发明的有益效果：