[发明专利]一种基于云原生技术的建模实验系统

说明书

本发明涉及云原生技术的建模技术领域，具体公开了一种基于云原生技术的建模实验系统，包括以下步骤，S1：算法镜像；S2：数据地址；S3：算法超参；S4：建模控制配置；S5：提交算法镜像、数据地址和建模控制配置到建模实验系统；S6：建模实验系统提供接口进行查询实验的进展和结果，以及对实验中单个建模进行暂停、恢复和停止等操作，本发明的有益效果为通过扩展云原生技术功能，只需要简单的配置，就可以提高实验的效率，更快的完成实验，并且对实验中的建模有更多的控制能力，包括暂停、恢复和停止等，还能设置一次实验最长的执行时间和最多能有几次建模失败，总之，本发明的系统，能对建模实验提供一个稳定、高效和可控制的环境。

技术领域

本发明涉及云原生技术的建模技术领域，特别涉及一种基于云原生技术的建模实验系统。

背景技术

建模是指把具体问题抽象成某一类问题并用数学模型表示，目的是得到某种数学模型能够解决某类问题，过程是通过算法、算法超参和数据计算得到数学模型。例如，一个佩戴口罩识别的算法和一组佩戴口罩图片，通过建模得到一种数学模型，用这种模型可以识别出一张图片是否佩戴口罩。一次实验N(＝1)次建模，每一次的建模有相同的算法、数据和不同的算法超参，输出数学模型和指标，一次结束后开始下一次建模，直到N次，最后根据指标选择最优的数学模型，而Cloud Native翻译为云原生，是Matt Stine提出的一个概念，它是一个思想的集合，包括DevOps、持续交付、微服务、敏捷基础设施、康威定律等，以及根据商业能力对公司进行重组。Cloud Native既包含技术(微服务，敏捷基础设施)，也包含管理(DevOps，持续交付，康威定律，重组等)。Cloud Native也可以说是一系列技术、企业管理方法的集合。

然而现如今的建模实验系统存在一次实验N次建模，N值比较大时，完成实验所需要的时间就会较久，导致效率非常低，也难以对其中的单次建模进行暂停、恢复、停止和超时放弃等操作，总而言之，效率低，而且难以对单次建模进行更多特定的操作，无法提供一个稳定、高效和可控制的建模实验环境。

为解决上述问题。为此，提出一种基于云原生技术的建模实验系统。

发明内容

本发明的目的在于提供一种基于云原生技术的建模实验系统，首先搭建的搭建Kubernetes集群、搭建Mysql集群和搭建Ceph集群；然后，使用Kbuilder快速创建Kubernetes的CRD：实验资源和建模资源，编写核心功能实验资源控制器与建模资源控制器，实验资源控制器监听实验资源和建模资源的状态变化并作出响应，建模资源控制器监听Kubernetes原生的Job资源并作出响应；其次，创建Manager服务接收建模实验请求；其次，对实验请求进行参数验证，并保存到Mysql；其次，创建Scheduling服务获取Mysql的实验请求，根据实验请求调用Kubernetes创建实验资源；其次，创建Webhook，注入下载容器和采集容器，分别用于下载算法容器所需要的数据及采集算法容器的结果上报Manager，让算法容器专注于建模，而不用去处理数据来自Ceph还是Hive，以及往哪里上报结果，Webhook还可以修改Pod里面容器的入参来达到动态改变算法超参；其次，Manager服务接收实验资源控制器与建模资源控制器的反馈结果，包括实验当前的状态，建模当前的状态和实验结束后的数据，并把结果保存到Mysql和Ceph，可以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：一种基于云原生技术的建模实验系统，包括以下步骤：

S1：算法镜像：使用Docker把算法生成算法镜像，然后把算法镜像提交到仓库，有可以访问的算法镜像地址；

S2：数据地址：使用Ceph或Hive把数据保存下来，有可以访问的数据地址；

S3：算法超参：初始化的算法超参；

S4：建模控制配置：实验中建模的次数N，可同时执行的建模个数，实验最长执行时间，单次建模的最长时间，最多可失败的建模次数等；