[发明专利]一种多模型融合推理方法

权利要求书

1.一种多模型融合推理方法，其特征在于：包括以下步骤：

步骤1：模型转换，将多个异构模型转换成标准子模型；

步骤2：合成总模型，将标准子模型合成为总模型，总模型设置有多条分支，其分支分别拷贝各子模型的结构和权重，使得总模型的每个分支分别对应一个标准子模型；

步骤3：并行推理，将合成后的总模型加载至GPU，通过CUDA进行推理；

步骤4：映射，总模型的推理结果映射回子模型，使总模型输出为各子模型输出组成的列表，通过列表索引将总模型的推理结果映射回子模型的推理结果；

步骤5：后处理操作，通过多进程技术对推理结束的标准子模型进行后处理操作。

2.根据权利要求1所述的多模型融合推理方法，其特征在于：所述步骤1中异构模型包括pytorch模型和tensorflow模型，所述多个异构模型统一转换成ONNX模型或TensorRT模型。

3.根据权利要求1所述的多模型融合推理方法，其特征在于：所述步骤2中以pytorch模型为标准子模型，将其合成为总模型的步骤为：

（1）获取每个标准子模型的模块单元，即标准子模型类中的成员变量；

（2）重命名模块单元，在模块单元的原名称前加标准子模型的名称作为前缀；

（3）获取标注子模型的权重字典，并在key前加标准子模型名称作为前缀；

（4）定义融合后的总模型Fused Model类，Fused Model类成员变量为各标准子模型类的成员变量的合集，pytorch模型中的forward函数为各子模型forward函数的逻辑合并；

（5）将标准子模型的权重字典合并成总模型的权重字典，并加载至总模型类实例化对象。

4.根据权利要求1所述的多模型融合推理方法，其特征在于：所述步骤3中当GPU卡设置有多块时，则合成后的总模型进行多卡并行推理。