[发明专利]模型集成方法、装置、服务器和计算机可读存储介质

说明书

本发明实施例提出一种模型集成方法、装置、服务器和计算机可读存储介质，涉及深度学习领域。服务器预先存储有模型文件及模型文件配置表，模型文件包括多个模型，模型文件配置表用于记录每个模型在模型文件中的位置，通过获取视频流分析任务对应的任务参数，该任务参数用于指定待集成的目标模型，根据任务参数和模型文件配置表，从模型文件中读取出目标模型，将目标模型加载到推理卡上，并生成目标模型对应的算子引擎，根据任务参数和算子引擎生成引擎管道，以通过引擎管道对输入的视频流数据进行处理。如此，可以实现根据视频流分析任务灵活地选择需要集成的一个或多个模型，并加载到一张推理卡上，有效减少了硬件资源的消耗。

技术领域

本发明涉及深度学习领域，具体而言，涉及一种模型集成方法、装置、服务器和计算机可读存储介质。

背景技术

在深度学习领域，将一批经过标注处理的素材进行训练后，能够得到一个基于深度学习的算法模型。通过该算法模型可以在一些需要人工智能分析的场景进行不同目标的检测或分类，然而单独通过训练出来的算法模型无法实际落地应用，一般的处理方式是先将算法模型量化，然后再开发一个能够加载模型、标准化输入输出接口的SDK(SoftwareDevelopment Kit，软件开发工具包)进行封装，进而提供给上层应用调用。

目前，一个SDK包只包含一种模型，然后部署在一张推理卡上，该推理卡所支持的视频流均只能分析基于该种模型的场景，不能再加载其他类型的模型，如果需要加载其他类型的模型，则需要另外的一张推理卡，进而造成硬件资源的浪费。

发明内容

有鉴于此，本发明的目的在于提供一种模型集成方法、装置、服务器和计算机可读存储介质，其能够根据视频流分析任务灵活地选择需要集成的一个或多个模型，并减少硬件资源的消耗。

为了实现上述目的，本发明实施例采用的技术方案如下：

第一方面，本发明提供一种模型集成方法，应用于服务器，所述服务器预先存储有模型文件及模型文件配置表，所述模型文件包括多个模型，所述模型文件配置表用于记录每个所述模型在所述模型文件中的位置；所述方法包括：

获取视频流分析任务对应的任务参数；所述任务参数用于指定待集成的目标模型；

根据所述任务参数和所述模型文件配置表，从所述模型文件中读取出所述目标模型；

将所述目标模型加载到推理卡上，并生成所述目标模型对应的算子引擎；

根据所述任务参数和所述算子引擎生成引擎管道，以通过所述引擎管道对输入的视频流数据进行处理。

在可选的实施方式中，所述模型文件配置表包括模型标识与模型位置的对应关系，所述任务参数包括所述目标模型的模型标识，所述根据所述任务参数和所述模型文件配置表，从所述模型文件中读取出所述目标模型，包括：

在所述对应关系中查找与所述目标模型的模型标识对应的模型位置；

根据所述模型位置从所述模型文件中读取出所述目标模型。

在可选的实施方式中，所述任务参数包括所述目标模型的模型标识，所述根据所述任务参数和所述算子引擎生成引擎管道，包括：

按照所述任务参数中的各个模型标识对应的先后顺序，对所述算子引擎进行关联，得到引擎管道；其中，所述引擎管道中的前项算子引擎注册当前算子引擎的输入接口，当前算子引擎注册后项算子引擎的输入接口。

在可选的实施方式中，所述服务器中还预先设置有算子引擎仓库，所述算子引擎仓库用于存放生成的算子引擎；在获取视频流分析任务对应的任务参数之后，所述方法还包括：

若所述算子引擎仓库中存在所述目标模型对应的算子引擎，则从所述算子引擎仓库中获取所述目标模型对应的算子引擎以便生成引擎管道；