[发明专利]自动机器学习实现方法、系统、设备及存储介质

说明书

本发明公开了自动机器学习实现方法、系统、设备及存储介质，其中方法可包括：代理模块分别与机器学习模块及自动调参模块进行交互，完成自动机器学习；其中，机器学习模块和自动调参模块位于不同设备上，机器学习模块将代理模块视为自动调参模块，自动调参模块将代理模块视为机器学习模块。应用本发明所述方案，可降低实现复杂度及降低升级成本等。

【技术领域】

本发明涉及计算机应用技术，特别涉及自动机器学习实现方法、系统、设备及存储介质。

【背景技术】

机器学习近年来在互联网点击预估、计算机视觉、语音识别、自动驾驶等越来越多的领域发挥重要的作用。

自动机器学习(AuoML)的目的是让工程师在没有统计学、机器学习方面的广泛知识的情况下也能自动构建机器学习应用，减少对专家的需求，扩大机器学习在各个行业中的影响力。

自动机器学习涉及到机器学习模块和自动调参模块。机器学习模块使用训练数据进行训练，得出应用模型。自动调参模块获取机器学习模块训练过程中的中间结果，如模型评估指标等，指导模型下一轮的调整方向。

目前的自动机器学习可采用单机方案或多机方案。单机方案是指在一台机器节点上部署机器学习模块和自动调参模块。图1为现有多机方案的实现方式示意图，如图1所示，多机方案是指在多个机器节点上分别部署机器学习模块和自动调参模块，多个自动调参模块中分为主节点自动调参模块和非主节点自动调参模块，非主节点自动调参模块将中间结果内容汇总到主节点自动调参模块，主节点自动调参模块进行决策，并将决策结果分发到其它各机器节点，各机器学习模块之间互相通信，迭代更新模型，将模型评估指标提交到每个机器节点上的自动调参模块。在同等机器配置下，对比单机方案，多机方案能以几乎线性级别加快模型训练速度。

但无论是单机方案还是多机方案，均需要在每个机器节点上分别部署/安装自动调参模块，如果新增机器学习模块，还需要相应地新增自动调参模块，而且不同的集群环境需要不同的安装和使用方法，从而增加了实现复杂度。另外，机器学习模块和自动调参模块耦合性高，机器学习模块需要调用自动调参模块提供的接口，这样，一旦自动调参模块升级，也需要对机器学习模块进行相应的修改，从而增加了升级成本等。

【发明内容】

有鉴于此，本发明提供了自动机器学习实现方法、系统、设备及存储介质。

具体技术方案如下：

一种自动机器学习实现设备，包括：

代理模块，用于分别与机器学习模块及自动调参模块进行交互，完成自动机器学习；其中，所述机器学习模块和所述自动调参模块位于不同设备上，所述机器学习模块将所述代理模块视为自动调参模块，所述自动调参模块将所述代理模块视为机器学习模块。

根据本发明一优选实施例，当所述机器学习模块的个数大于一时，所述代理模块仅和其中的一个机器学习模块进行交互，各机器学习模块之间进行信息共享。

根据本发明一优选实施例，所述代理模块与其它模块之间基于超文本传输协议HTTP进行交互。

根据本发明一优选实施例，所述代理模块与所述机器学习模块之间的交互包括：获取所述机器学习模块上报的模型评估指标；获取所述机器学习模块上报的训练结束信号；终止所述机器学习模块中运行的机器学习任务；基于获取自所述自动调参模块的新一组模型超参启动新的机器学习任务；

所述代理模块与所述自动调参模块之间的交互包括：将获取自所述机器学习模块的模型评估指标发送给所述自动调参模块；将获取自所述机器学习模块的训练结束信号发送给所述自动调参模块；获取所述自动调参模块根据接收到的模型评估指标生成的新一组模型超参。

一种自动机器学习实现系统，包括：

机器学习模块、自动调参模块以及代理模块；所述机器学习模块和所述自动调参模块位于不同设备上；