[发明专利]一种部署client端实现方法

权利要求书

1.一种部署client端实现方法，其特征在于，首先，定义一个抽象类和五个公共方法，新增的模型继承抽象类生成派生类并根据每个模型输入输出信息实现模型预处理、输入、输出、推理和后处理五个方法；

抽象类构造函数中实现模型信息的解析和gprc-client端的创建，最终将C++工程接口封装成3个C接口并编译成.so动态链接库提供给前端其他语言调用；

进行抽象类定义模型预处理、输入、输出、推理和后处理五个公共方法时，在抽象类中成员变量有模型信息参数结构体用于存放模型解析后参数内容，输入、输出名字、模型输入的高、宽、通道、输入数据格式、一次性推理图片数、访问triton-server的http-client和grpc-client类型指针；

在抽象类中成员变量有模型信息参数结构体时，首先根据初始化抽象类时根据传入的模型名称和推理服务器的地址创建http_client和grpc_client对象指针；然后利用指针访问triton-server获取model_meta和model_config数据，最后根据model_meta和model_config解析出模型的信息并存放在定义好的模型信息结构中，根据图像格式解析出图像的宽、高及通道。

2.根据权利要求1所述的一种部署client端实现方法，其特征在于，派出类继承抽象类实现五个公共方法时，根据深度学习模型处理逻辑，每一帧图像需要进行预处理、输入、输出、推理及后处理流程。

3.根据权利要求2所述的一种部署client端实现方法，其特征在于，对于不同的模型每个环节处理流程各不相同，模型预处理接口对图像进行剪裁、图像色彩模式转换、喂入模型归一化、图像数据存储操作。

4.根据权利要求3所述的一种部署client端实现方法，其特征在于，模型输入接口根据解析出的模型信息创建triton-client类型的输入指针*inputs并作为模型推理接口的输入参数；

模型输出接口根据triton-server端定义的模型输出名创建模型的输出类型指针*outputs，可支持多个不同输出的创建。

5.根据权利要求4所述的一种部署client端实现方法，其特征在于，模型推理接口采用函数回调的方式，将模型inputs、outputs参数传入推理接口，得到推理结果在函数回调处将结果存放在vector中；

模型后处理接口遍历模型输出outputs根据模型输出名将推理结果存入vector容器中，过滤掉得分较低的框，将结果转存为结构体，进行DBSCAN聚类运算；

使用rapidjson第三方数据封装组件将推理结果封装为json格式数据返回。

6.根据权利要求5所述的一种部署client端实现方法，其特征在于，C++工程接口封装成C接口时，包括初始化、推理输出和资源释放接口供go语言调用。

7.根据权利要求6所述的一种部署client端实现方法，其特征在于，初始化接口先开启相机，再根据传入需要推理的模型名创建对应的子类，并将模型名、triton服务器地址、相机地址传入抽象类构造中解析模型信息；

推理输出接口捕获一帧图像数据，再经过预处理、输入、推理及后处理过程得到推理出json格式结果；

资源释放接口对初始化接口和推理输出接口中创建的资源进行释放。