[发明专利]AI模型热更新热切换方法

权利要求书

1.一种AI模型热更新热切换方法，其特征在于：

具体包括以下步骤：

步骤S1、服务端启动时，初始化AI模型资源管理模块，将模型的名称、版本与存放路径信息形成映射关系；

步骤S2、当客户端建立连接后，通过连接管理模块对连接资源进行管理；

步骤S3、当服务端接收到客户端切换或者更新命令时，通过数据报文处理模块对命令进行处理；

步骤S4、AI离线模型调度模块根据命令以及客户端的数据加载对应的AI模型资源，并对客户端数据进行数据处理，将数据处理结果返回给数据发送模块；

步骤S5、数据发送模块将数据返回给客户端。

2.根据权利要求1所述的AI模型热更新热切换方法，其特征在于：所述步骤S1中，服务端启动时，建立AI模型资源管理类模块，扫描服务器上AI模型信息，并根据AI模型信息和AI加速卡信息将模型的名称、版本与存放路径资源形成映射关系；

服务端启动时，通过配置启动一个固定大小的线程队列，该线程用来处理已经建立连接的读写任务，将数据传递给数据报文处理模块；

所述步骤S2中，客户端与服务端进行握手后，先校验客户端信息，再通知连接管理模块，更新连接信息。

3.根据权利要求1所述的AI模型热更新热切换方法，其特征在于：所述步骤S3中，数据报文处理模块解析客户端命令的报文头和报文体，将需要更新和切换的模型信息通知AI模型资源管理类模块更新映射关系，同时通知AI离线模型调度模块卸载当前AI模型，加载更新的AI模型或者切换的AI模型。

4.根据权利要求3所述的AI模型热更新热切换方法，其特征在于：所述步骤S3中，具体实现流程如下：

步骤S3.1、客户端发送获取服务端AI加速卡信息请求，通知AI模型资源管理模块获取信息，将AI加速卡与AI模型信息发送给客户端；

步骤S3.2、客户端根据AI加速卡与AI模型信息发送请求，获取AI加速卡的类型和使用AI模型的名称和版本，服务端通知AI离线模型调度模块，加载对应AI模型至指定的AI加速卡。

5.根据权利要求1所述的AI模型热更新热切换方法，其特征在于：所述步骤S4中，AI离线模型调度模块根据不同AI加速卡和AI模型的特点抽象出通用接口类；从数据报文处理模块接收使用AI模型的名称、版本号及AI加速卡的信息，调度AI模型加载至指定AI加速卡；

AI离线模型调度模块从数据报文处理模块接收客户端经过预处理的数据，根据该客户端使用的AI模型信息对客户端的数据在AI加速卡上进行推理，得到数据处理结果，将数据处理结果通知数据发送模块。

6.根据权利要求5所述的AI模型热更新热切换方法，其特征在于：所述步骤S4中，AI离线模型调度模块从数据报文处理模块接收到更新AI模型的命令时，判断当前客户端使用AI模型的引用计数，将当前AI模型的引用次数减1；

如果当前使用AI模型的引用次数等于0，则通知AI模型资源管理模块，释放板卡加载的AI模型资源；

如果当前使用AI模型的引用次数大于1，则通知AI模型资源管理模块，加载新的AI模型的至指定的AI加速卡，更新该客户端的使用的AI模型信息。

7.根据权利要求5所述的AI模型热更新热切换方法，其特征在于：所述步骤S4中，AI离线模型调度模块从数据报文处理模块接收到切换AI模型的命令时，判断当前客户端使用AI模型的引用计数，将当前AI模型的引用次数减1；

如果当前使用AI模型的引用次数等于0，则通知AI模型资源管理模块，释放板卡加载的AI模型资源；

如果当前使用AI模型的引用次数大于1，则通知AI模型资源管理模块，更新该客户端的使用的AI模型信息。

8.根据权利要求1所述的AI模型热更新热切换方法，其特征在于：所述步骤S5中，数据发送模块从连接管理模块获取连接信息，从AI离线模型调度模块获取数据处理结果，并将获取到的连接信息和数据处理结果返回给客户端。