[发明专利]基于kubernetes的自动机器学习方法及系统

说明书

本发明提供一种基于kubernetes的自动机器学习方法及系统，方法包括：搭建含有至少两个机器的自动机器学习系统；设置自动机器学习系统的优化目标函数及超参数极值约束条件；根据查找的超参数搜索算法将满足超参数极值约束条件的值代入优化目标函数，得到随机超参数；获取至少两组待处理任务的实验数据，将每组实验数据分配到不同的机器上进行训练，直到达到极值，其中，每组实验数据的训练使用不同的随机超参数；收集不同机器的训练结果，根据训练结果判断得到自动机器学习系统的最优参数配置。通过本发明的自动机器学习方法及系统，可以实现最优实验超参数自动生成和选择，提高了调参效率，降低了现有机器学习环境下算法工程师繁重的调参负担。

技术领域

本发明涉及自动机器学习技术领域，尤其涉及一种基于kubernetes的自动机器学习方法及系统。

背景技术

如今，机器学习技术和算法逐渐应用到生产生活的方方面面，而建立一个高质量的机器学习模型是一个迭代的、复杂的、耗时的过程：除了要求机器学习从业者设计和尝试不同的算法，还要针对算法不断进行超参数的调整与适配。这对于工程师的知识水平与实践经验有非常高的要求。

随着硬件计算能力的提升，深度学习(Deep Learning，DL)技术迎来了又一次复兴。由于权重共享、稀疏连接等特性，卷积神经网络结构(Convolutional NeuralNetworks，CNNs)在许多图像处理任务中都取得了不俗的成绩。如何在提升网络性能的同时减弱对人力的依赖仍旧是一个较为棘手的问题。

随着数据量的爆炸式增长与应用领域的持续增多，企业越来越意识到单纯依靠人力无法完成如此庞大的工程。因此，建立一个自动化的机器学习模型设计与参数搜索系统显得至关重要。

近年来，神经架构搜索(Neural Architecture Search，NAS)框架的提出，缓解了这一复杂且费时费力的网络结构设计工程。

目前，深度学习领域有超参数搜索和神经架构搜索等技术，可以通过自动化的手段实现模型超参数的选取，从而减少人工需求。这些技术的主要目的是通过扮演领域专家的角色，减少人工在该过程中的作用，从而实现更加高效的模型设计与参数调节。

而在云原生领域，kubernetes具备高效的分布式平台调度能力，为大规模的分布式自动机器学习系统提供了有力基础。而基于kubernetes的kubeflow环境则提供了更友好的超参数搜索与模型结构搜索能力，允许运维工程师管理整个调参过程，降低企业AI进入门槛。然而kubeflow中未涉及使用搜索的超参数直接生成实验的引擎，使得超参数生成过程与多试验并行训练过程依然分离进行，降低了自动机器学习系统的效率。

发明内容

(一)要解决的技术问题

针对于现有的技术问题，本发明提供一种基于kubernetes的自动机器学习方法及系统，用于至少部分解决以上技术问题。

(二)技术方案

本发明提供一种基于kubernetes的自动机器学习方法，包括：搭建含有至少两个机器的自动机器学习系统；设置自动机器学习系统的优化目标函数及超参数极值约束条件；查找超参数搜索算法，根据超参数搜索算法将满足超参数极值约束条件的值代入优化目标函数，得到随机超参数；获取至少两组待处理任务的实验数据，将每组实验数据分配到不同的机器上进行训练，直到达到极值，其中，每组实验数据的训练使用不同的随机超参数；收集不同机器的训练结果，根据训练结果判断得到自动机器学习系统的最优参数配置，其中，训练结果包括达到极值的收敛速度和模型精度。

可选地，超参数搜索算法包括改进的经典搜索算法或启发式搜索算法。

可选地，利用分布式平台并行训练实验数据，分布式平台的设置包括相同模型、相同数据、不同的随机超参数。

可选地，改进的经典搜索算法包括经贝叶斯优化算法优化后的网格搜索算法或随机搜索算法。