[发明专利]基于分布式集群的机器学习任务处理方法、装置及设备

说明书

本公开涉及一种基于分布式集群的机器学习任务处理方法、装置、电子设备及计算机可读介质。该方法包括：根据用户操作指令登陆预设分布式集群，所述分布式集群基于Kubernetes微服务架构设计；所述分布式集群基于交互式计算笔记本环境为所述用户分配原子调度单元；所述原子调度单元关联目标服务器，所述目标服务器为notebook服务器；所述用户将待处理的机器学习任务发送至所述原子调度单元，以便所述原子调度单元基于所述目标服务器进行计算生成返回信息。本公开能够提供给业务人员一个集群化的高可用的科学数据分析平台，使其能够安全快速访问内网中真实交易的大数据、低成本利用服务器CPU和存储资源、定制化地使用各种算法组件。

技术领域

本公开涉及计算机信息处理领域，具体而言，涉及一种基于分布式集群的机器学习任务处理方法、装置、电子设备及计算机可读介质。

背景技术

随着计算机与网络的飞速发展，机器学习作用越来越大，正在改变着我们的生活和工作。互联网搜索、在线广告、机器翻译、手写识别、垃圾邮件过滤等等都是以机器学习为核心技术的。随着机器学习的应用领域越来越多，机器学习的复杂度也逐渐增加，单机模型已经不能满足机器学习平台的使用需求了，服务器端的发展，越来越多的机器学习被转移到了服务器集群，基于服务器集群建立机器学习平台，各个用户登陆机器学习平台，发送机器学习任务给服务器集群，然后通过服务集群中的服务器对机器学习任务进行处理。

现有的机器学习平台方案是基于独立的Hadoop集群建立的，然后通过ApacheHadoop YARN(Yet Another Resource Negotiator，另一种资源协调者)方式搭建部署，这种方式搭建的机器学习平台，存在机器资源动态分配支持性不够友好、真实交易大数据需要手动非实时同步体验不佳、与其他平台依赖绑定较为耦合不容易迁移等诸多问题。用户进行特征分析、特征工程、模型训练、模型部署与数据管理等等处理时，经常需要跨部门、跨地域管理。

因此，需要一种新的基于分布式集群的机器学习任务处理方法、装置、电子设备及计算机可读介质。

在所述背景技术部分公开的上述信息仅用于加强对本公开的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

有鉴于此，本公开提供一种基于分布式集群的机器学习任务处理方法、装置、电子设备及计算机可读介质，能够提供给业务人员一个便捷交互式、视图化、安全可靠和集群化的高可用的科学数据分析平台，还能安全快速访问内网中真实交易的大数据、还能低成本利用服务器CPU和存储资源、还能可定制化地使用各种算法组件。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开的一方面，提出一种基于分布式集群的机器学习任务处理方法，该方法包括：根据用户操作指令登陆预设分布式集群，所述分布式集群基于Kubernetes微服务架构设计；所述分布式集群基于交互式计算笔记本环境为所述用户分配原子调度单元；所述原子调度单元关联目标服务器，所述目标服务器为notebook服务器；所述用户将待处理的机器学习任务发送至所述原子调度单元，以便所述原子调度单元基于所述目标服务器进行计算生成返回信息。

可选地，根据用户操作指令登陆预设分布式集群之前，还包括：所述用户通过代理向所述分布式集群的集线器发送登陆申请；在登陆申请有效时，所述集线器返回登陆页面至所述用户；所述用户在所述登陆页面上进行操作以生成所述用户操作指令。

可选地，所述分布式集群基于交互式计算笔记本环境为所述用户分配原子调度单元，包括：所述用户在所述分布式集群的交互式计算笔记本环境中申请容器；所述分布式集群基于所述容器创建原子调度单元并分配给所述用户。

可选地，所述原子调度单元关联目标服务器，包括：根据所述用户的登陆信息在分布式集群中确定目标服务器；将所述原子调度单元与目标服务器进行关联，以进行数据互传。