[发明专利]基于预训练范式模型的预测部署系统、方法、装置及介质

权利要求书

1.一种基于预训练范式模型的预测部署系统，包括：部署模块、数据预处理模块以及预测模块；

所述部署模块，用于针对用户的任务请求，将本次任务请求对应的原始文本数据发送给所述数据预处理模块，获取所述数据预处理模块返回的预处理结果，将所述预处理结果发送给所述预测模块，并获取所述预测模块返回的预测结果，提供给所述用户；

所述数据预处理模块，用于对所述原始文本数据进行预处理，得到符合预测要求的预处理结果，包括：从用户提供的配置文件中获取切字类字符串，根据所述切字类字符串确定出所述原始文本数据对应的切字方式，利用所述切字方式对应的分词器Tokenizer类，将所述原始文本数据切分为Token序列，根据所述Token序列获取所述原始文本数据对应的标识id序列，将所述id序列拷贝到所创建的张量Tensor结构数据中，将所述Tensor结构数据作为所述预处理结果，发送给所述部署模块；

所述预测模块，用于调用深度学习框架的预测引擎，并获取所述预测引擎根据所述预处理结果进行预测后返回的预测结果，发送给所述部署模块。

2.根据权利要求1所述的系统，还包括：鉴权统计模块；

所述部署模块进一步用于，将获取到的所述用户的鉴权信息发送给所述鉴权统计模块，并获取所述鉴权统计模块返回的鉴权结果，若鉴权结果为鉴权成功，则将所述原始文本数据发送给所述数据预处理模块；

所述鉴权统计模块，用于根据所述用户的鉴权信息对所述用户进行鉴权，并将鉴权结果发送给所述部署模块。

3.根据权利要求2所述的系统，其中，

所述鉴权统计模块进一步用于，将本次任务请求对应的预定信息保存到数据库中。

4.根据权利要求1所述的系统，其中，

所述数据预处理模块的切字操作采用工厂模式的设计方式。

5.根据权利要求1所述的系统，其中，

所述深度学习框架包括：飞桨PaddlePaddle深度学习框架；

所述预测引擎包括：分析预测器AnalysisPredictor预测引擎。

6.根据权利要求1所述的系统，其中，

所述预测模块采用工厂模式的设计方式，并利用所述原始文本数据对应的任务类型对应的预测Infer类，得到所述预测结果。

7.根据权利要求1所述的系统，其中，

所述系统支持以下硬件类型：中央处理器CPU、图形处理器GPU以及昆仑芯片。

8.根据权利要求1所述的系统，其中，

所述系统支持以下部署模式：C++应用程序接口API模式、百度开源远程过程调用协议服务器BRPC Server模式以及离线工具模式。

9.一种基于预训练范式模型的预测部署方法，包括：

针对用户的任务请求，预测部署系统将本次任务请求对应的原始文本数据进行预处理，得到符合预测要求的预处理结果，包括：从用户提供的配置文件中获取切字类字符串，根据所述切字类字符串确定出所述原始文本数据对应的切字方式，利用所述切字方式对应的分词器Tokenizer类，将所述原始文本数据切分为Token序列，根据所述Token序列获取所述原始文本数据对应的标识id序列，将所述id序列拷贝到所创建的张量Tensor结构数据中，将所述Tensor结构数据作为所述预处理结果；

所述预测部署系统调用深度学习框架的预测引擎，并获取所述预测引擎根据所述预处理结果进行预测后返回的预测结果，提供给所述用户。

10.根据权利要求9所述的方法，还包括：

所述预测部署系统根据所述用户的鉴权信息对所述用户进行鉴权，若鉴权结果为鉴权成功，则对所述原始文本数据进行预处理。

11.根据权利要求10所述的方法，还包括：

所述预测部署系统将本次任务请求对应的预定信息保存到数据库中。