[发明专利]一种基于云原生技术的建模实验系统

权利要求书

1.一种基于云原生技术的建模实验系统，其特征在于，包括以下步骤：

S1：算法镜像：使用Docker把算法生成算法镜像，然后把算法镜像提交到仓库，有可以访问的算法镜像地址；

S2：数据地址：使用Ceph或Hive把数据保存下来，有可以访问的数据地址；

S3：算法超参：初始化的算法超参；

S4：建模控制配置：实验中建模的次数N，可同时执行的建模个数，实验最长执行时间，单次建模的最长时间，最多可失败的建模次数等；

S5：提交算法镜像、数据地址和建模控制配置到建模实验系统；

S6：建模实验系统提供接口进行查询实验的进展和结果，以及对实验中单个建模进行暂停、恢复和停止等操作。

2.如权利要求1所述的一种基于云原生技术的建模实验系统，其特征在于，S1-S6的具体实施步骤如下：

S101：搭建集群；

S102：使用Kbuilder快速创建Kubernetes的CRD：实验资源和建模资源，编写核心功能实验资源控制器与建模资源控制器，实验资源控制器监听实验资源和建模资源的状态变化并作出响应，建模资源控制器监听Kubernetes原生的Job资源并作出响应；

S103：创建Manager服务接收建模实验请求；

S104：对实验请求进行参数验证，并保存到Mysql；

S105：创建Scheduling服务获取Mysql的实验请求，根据实验请求调用Kubernetes创建实验资源；

S106：创建Webhook，注入下载容器和采集容器，分别用于下载算法容器所需要的数据及采集算法容器的结果上报Manager，让算法容器专注于建模，而不用去处理数据来自Ceph还是Hive，以及往哪里上报结果，Webhook还可以修改Pod里面容器的入参来达到动态改变算法超参；

S107：Manager服务接收实验资源控制器与建模资源控制器的反馈结果。

3.如权利要求2所述的一种基于云原生技术的建模实验系统，其特征在于，S101中搭建的集群分别为搭建Kubernetes集群、搭建Mysql集群和搭建Ceph集群。

4.如权利要求3所述的一种基于云原生技术的建模实验系统，其特征在于，S102中实验资源CRD有如下字段：实验类型、搜索空间、优化器配置、建模总数、实验最长执行时间、并行执行的建模个数和最多可失败几次建模。

5.如权利要求4所述的一种基于云原生技术的建模实验系统，其特征在于，S102中建模资源CRD有如下字段：暂停、恢复、放弃和完成后是否保留Job资源。

6.如权利要求5所述的一种基于云原生技术的建模实验系统，其特征在于，S105中因为有实验资源被创建，此时实验资源控制器会做出响应，根据实验资源内容创建出建模资源，并监听建模资源的状态变化做出响应，比如请求总共需要4个建模资源，同时执行的建模资源是2个，那实验资源控制器会先创建出2个建模资源，等待完成后再创建出2个。

7.如权利要求6所述的一种基于云原生技术的建模实验系统，其特征在于，S105中因为有建模资源被创建，此时建模资源控制器会做出响应，根据建模资源内容创建出Job资源，并监听Job资源的状态变化做出响应，Kubernetes根据Job资源创建出相应的Pod资源。

8.如权利要求7所述的一种基于云原生技术的建模实验系统，其特征在于，Pod资源内部有存储模块、数据筛分模块、下载容器模块、算法容器模块和收集容器模块构成，存储模块、数据筛分模块、下载容器模块、算法容器模块和收集容器模块相互连接。

9.如权利要求8所述的一种基于云原生技术的建模实验系统，其特征在于，存储模块用于将Job控制器传输的数据进行全部储存，然后数据筛分模块筛分出只是算法容器所需要的数据，再由下载容器模块下载，并被算法容器模块所运用，收集容器模块采集算法容器的结果并上报Manager。

10.如权利要求7所述的一种基于云原生技术的建模实验系统，其特征在于，S107中的反馈结果包括实验当前的状态，建模当前的状态和实验结束后的数据，并把结果保存到Mysql和Ceph。