[发明专利]推理服务组件的运算方法和TensorRT推理服务组件

权利要求书

1.一种推理服务组件的运算方法，其特征在于，包括以下步骤：

构建一组以上第一运算对象，获得第一运算队列；

将推理服务模型连接每一所述第一运算对象；

连接所述第一运算对象和TensorRT对象接口，基于所述第一运算对象形成TensorRT对象队列；

获取待处理数据，从所述第一运算队列调取第一运算对象；

将所述待处理数据迁移至显存后，通过所述第一运算对象与所述TensorRT对象实现交互；

获取推理输出结果，将所述推理输出结果迁移至内存输出；

释放所述第一运算对象至第一运算队列。

2.根据权利要求1所述的一种推理服务组件的运算方法，其特征在于，所述推理服务模型的初始化流程，包括步骤：

序列化所述推理服务模型，保存输入尺寸、输入数据和输出尺寸计算输出的数据；

加载模型，解析所述推理服务模型；

分配内存和显存，封装并映射至第一运算对象加入所述第一运算队列。

3.根据权利要求1所述的一种推理服务组件的运算方法，其特征在于，所述第一运算对象的调取和释放的方法，包括步骤：

调取第一运算队列中位于首位的第一运算对象；

执行推理服务，输出推理输出结果后释放所述第一运算对象至第一运算队列末位。

4.根据权利要求2所述的一种推理服务组件的运算方法，其特征在于，还包括推理服务模型的动态输入方法：

通过接口层输入待推理数据，所述待推理数据包括输入尺寸；

根据所述待推理数据、输入尺寸，以及所述输入尺寸和所述输出尺寸的映射关系计算推理输出结果。

5.根据权利要求1所述的一种推理服务组件的运算方法，其特征在于，所述将所述待处理数据迁移至显存的方法，具体包括：

获取待推理数据，将所述待推理数据从内存拷贝至锁页内存，再从所述锁页内存拷贝至显存；

所述将所述推理输出结果迁移至内存输出的方法，具体包括：

将所述推理输出结果从显存拷贝至锁页内存，再从所述锁页内存拷贝至内存输出。

6.根据权利要求1所述的一种推理服务组件的运算方法，其特征在于，执行所述获取推理输出结果，将所述推理输出结果迁移至内存输出之后，还执行步骤：释放GIL锁。

7.一种TensorRT推理服务组件，其特征在于，包括：

接口层，用于待处理数据和推理结果数据与外部的交互；

推理层，包含第一运算队列，所述第一运算队列包括一组以上第一运算对象，每一所述第一运算对象有对应连接的TensorRT对象；每一所述第一运算对象包括预设的推理服务模型；

调度层，从所述接口层获取待处理数据，从所述推理层获取推理输出结果；调取所述第一运算队列的所述第一运算对象，根据所述第一运算对象执行推理服务；释放所述第一运算对象至第一运算队列。

8.根据权利要求1所述的一种TensorRT推理服务组件，其特征在于，还包括插件层，所述插件层连接所述推理层，所述插件层用于提供推理服务模型。

9.一种计算机存储介质，其特征在于，存储有计算机程序，所述计算机程序被执行实现权利要求1-6任一所述的推理服务组件的运算方法。