[发明专利]一种构建在线机器学习项目的方法及机器学习系统

说明书

本申请实施例提供一种构建在线机器学习项目的方法及机器学习系统所述构建在线机器学习项目的方法包括：接收来自于用户的服务请求；根据所述服务请求为服务分配用户服务集群的资源并搭建在线运行环境，其中，所述在线运行环境用于执行机器学习的模型开发服务或者模型训练服务；接收来自于所述用户在所述在线运行环境中的操作；基于所述操作向所述用户提供运行信息，其中，所述运行信息包括所述模型开发服务或者模型训练服务的运行结果或者运行状态。本申请实施例实现了用户在本地编写代码实现模型开发或者用户在本地使用云端资源实现模型训练，并将在云端执行的代码开发运行结果和模型训练结果返回用户浏览器，提升用户进行机器学习项目的效果。

技术领域

本申请涉及机器学习领域，具体而言本申请实施例涉及一种构建在线机器学习项目的方法及机器学习系统。

背景技术

目前业界通用的机器学习(例如，深度学习)方案是使用一台带有高性能显卡的物理机或者虚拟机，把数据集和模型下载到本地磁盘，之后通过命令行编写训练代码，运行代码，在标准输出或者日志文件中拿到代码执行的训练结果再做分析。

本申请的发明人发现上述相关方案至少包括以下四个方面的缺陷。第一方面弹性较差，这是由于使用了一台机器，很难轻易变更计算资源；第二方面，数据灵活性和使用门槛较高，数据集的规格差异较大，频繁的上传下载数据集会带来庞大的时间成本；第三方面，缺乏对模型和数据集的管理长久之后会导致无法管理机器上的数据；第四方面，通过命令行编写代码、运行代码无法做到友好的保存实验运行状态和数据，更无法分析数据和分享实验。

因此如何提供一个高效的机器学习平台成了亟待解决的技术问题。

发明内容

本申请实施例的目的在于提供一种构建在线机器学习项目的方法及机器学习系统，本申请实施例未采用传统方案以计算资源为中心的研究和实验形态，改以项目为中心，为项目分配数据集、计算资源和模型等。本申请的一些实施例在任意一次启动项目的时候，会将与项目有关联的数据集挂载(例如，使用NFS协议挂载)到用户的计算资源上，从用户的体验的视角相当于访问本地盘，无须下载数据；本申请的一些实施例使用可编程笔记本的形式进行模型开发，实时保留用户的代码和代码运行状态；本申请的一些实施例还为用户提供菜单栏快速检索和加载模型库里的所有已知模型，无须用户自己去其他平台查找和手动下载。

第一方面，本申请实施例提供一种构建在线机器学习项目的方法，所述方法包括：接收来自于用户的服务请求；根据所述服务请求为服务分配用户服务集群的资源并搭建在线运行环境，其中，所述在线运行环境用于执行机器学习的模型开发服务或者模型训练服务；接收来自于所述用户在所述在线运行环境中的操作；基于所述操作向所述用户提供运行信息，其中，所述运行信息包括所述模型开发服务或者模型训练服务的运行结果或者运行状态。

本申请实施例实现了用户在本地编写代码实现模型开发或者用户在本地使用云端资源实现模型训练，并将在云端执行的代码开发运行结果和模型训练结果返回用户浏览器，从而提升了用户进行机器学习项目的效果。

在一些实施例中，所述接收来自于所述用户在所述在线运行环境中的操作之前，所述方法还包括：确认所述用户的身份通过验证；将流量发往指定的IP地址和端口，其中，所述指定的IP地址为所述运行环境的地址，所述端口为在所述运行环境中启动的模型开发服务或者模型训练服务的端口。

本申请实施例在启动运行环境时(例如，容器)还需要在用户服务集群(至少用于为模型开发任务或者模型训练任务等机器学习任务提供物理资源)之外通过代理验证用户的身份，以提升用户服务集群上运行的程序的安全性。

在一些实施例中，所述方法还包括：为所述服务分配一个令牌；根据所述令牌确认将所述流量发往所述指定的IP地址和端口。