[发明专利]一种部署client端实现方法

说明书

本发明涉及深度学习领域，具体提供了一种部署client端实现方法，首先，定义一个抽象类和五个公共方法，新增的模型继承抽象类生成派生类并根据每个模型输入输出信息实现模型预处理、输入、输出、推理和后处理五个方法；抽象类构造函数中实现模型信息的解析和gprc‑client端的创建，最终将C++工程接口封装成3个C接口并编译成.so动态链接库提供给前端其他语言调用。与现有技术相比，本发明对新增模型易扩展，且支持多个模型部署，基于C++实现更适用于对性能要求较高的嵌入式设备，生成的动态链接库可供多个语言调用，实现更丰富的前端功能。

技术领域

本发明涉及深度学习领域，具体提供一种部署client端实现方法。

背景技术

模型训练只是深度学习的一小部分,而模型部署是深度学习技术落地的最重要一个环节。目前比较主流的部署框架有python服务部署、java直接加载模型部署方式、docker和tf-serving部署模型和Nvidia triton部署框架。

每种部署方式各有优缺点,其中,python服务部署和java直接加载部署推理速度较慢，且需要python环境，对性能要求较高的嵌入式环境不适合。

后两种方式采用docker容器部署，且对外提供http和grpc接口；其中grpc服务批量处理图像数据更有优势，因此适合视频流输入的模型推理，且该框架支持多个模型部署；4种部署方式中Nvidia triton推理速度最快。

发明内容

本发明是针对上述现有技术的不足，提供一种实用性强的部署client端实现方法。

本发明解决其技术问题所采用的技术方案是：

一种部署client端实现方法，首先，定义一个抽象类和五个公共方法，新增的模型继承抽象类生成派生类并根据每个模型输入输出信息实现模型预处理、输入、输出、推理和后处理五个方法；

抽象类构造函数中实现模型信息的解析和gprc-client端的创建，最终将C++工程接口封装成3个C接口并编译成.so动态链接库提供给前端其他语言调用。

进一步的，进行抽象类定义模型预处理、输入、输出、推理和后处理五个公共方法时，在抽象类中成员变量有模型信息参数结构体用于存放模型解析后参数内容，输入、输出名字、模型输入的高、宽、通道、输入数据格式、一次性推理图片数、访问triton-server的http-client和grpc-client类型指针。

进一步的，在抽象类中成员变量有模型信息参数结构体时，首先根据初始化抽象类时根据传入的模型名称和推理服务器的地址创建http_client和grpc_client对象指针；然后利用指针访问triton-server获取model_meta和model_config数据，最后根据model_meta和model_config解析出模型的信息并存放在定义好的模型信息结构中，根据图像格式解析出图像的宽、高及通道。

进一步的，派出类继承抽象类实现五个公共方法时，根据深度学习模型处理逻辑，每一帧图像需要进行预处理、输入、输出、推理及后处理流程。

进一步的，对于不同的模型每个环节处理流程各不相同，模型预处理接口对图像进行剪裁、图像色彩模式转换、喂入模型归一化、图像数据存储操作。

进一步的，模型输入接口根据解析出的模型信息创建triton-client类型的输入指针*inputs并作为模型推理接口的输入参数；

模型输出接口根据triton-server端定义的模型输出名创建模型的输出类型指针*outputs，可支持多个不同输出的创建。

进一步的，模型推理接口采用函数回调的方式，将模型inputs、outputs参数传入推理接口，得到推理结果在函数回调处将结果存放在vector中；