[发明专利]基于分布式集群的机器学习任务处理方法、装置及设备在审
| 申请号: | 202011166411.X | 申请日: | 2020-10-27 |
| 公开(公告)号: | CN112286682A | 公开(公告)日: | 2021-01-29 |
| 发明(设计)人: | 钟路;张奔奔;戴会杰 | 申请(专利权)人: | 上海淇馥信息技术有限公司 |
| 主分类号: | G06F9/50 | 分类号: | G06F9/50;G06N20/00 |
| 代理公司: | 北京清诚知识产权代理有限公司 11691 | 代理人: | 李博 |
| 地址: | 201500 上海市崇明区横沙乡富民*** | 国省代码: | 上海;31 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 基于 分布式 集群 机器 学习 任务 处理 方法 装置 设备 | ||
1.一种基于分布式集群的机器学习任务处理方法,其特征在于,包括:
根据用户操作指令登陆预设分布式集群,所述分布式集群基于Kubernetes微服务架构设计;
所述分布式集群基于交互式计算笔记本环境为所述用户分配原子调度单元;
所述原子调度单元关联目标服务器,所述目标服务器为notebook服务器;
所述用户将待处理的机器学习任务发送至所述原子调度单元,以便所述原子调度单元基于所述目标服务器进行计算生成返回信息。
2.如权利要求1所述的方法,其特征在于,根据用户操作指令登陆预设分布式集群之前,还包括:
所述用户通过代理向所述分布式集群的集线器发送登陆申请;
在登陆申请有效时,所述集线器返回登陆页面至所述用户;
所述用户在所述登陆页面上进行操作以生成所述用户操作指令。
3.如权利要求1-2中任一所述的方法,其特征在于,所述分布式集群基于交互式计算笔记本环境为所述用户分配原子调度单元,包括:
所述用户在所述分布式集群的交互式计算笔记本环境中申请容器;
所述分布式集群基于所述容器创建原子调度单元并分配给所述用户。
4.如权利要求1-3中任一所述的方法,其特征在于,所述原子调度单元关联目标服务器,包括:
根据所述用户的登陆信息在分布式集群中确定目标服务器;
将所述原子调度单元与目标服务器进行关联,以进行数据互传。
5.如权利要求1-4中任一所述的方法,其特征在于,所述原子调度单元关联目标服务器之后,还包括:
所述分布式集群的集线器为所述用户配置任务转发规则。
6.如权利要求1-5中任一所述的方法,其特征在于,所述用户将待处理的机器学习任务发送至所述原子调度单元,包括:
所述用户通过浏览器向代理发送任务请求;
所述代理基于任务转发规则将所述任务请求发送至所述原子调度单元;
所述原子调度单元将代码页面发送至所述用户。
7.如权利要求1-6中任一所述的方法,其特征在于,所述用户将待处理的机器学习任务发送至所述原子调度单元,还包括:
所述用户基于所述代码页面将待处理的机器学习任务发送至所述代理;
所述代理基于任务转发规则将所述机器学习任务发送至所述原子调度单元。
8.一种基于分布式集群的机器学习任务处理系统,其特征在于,包括:
登陆模块,用于根据用户操作指令进行登陆预设分布式集群,所述分布式集群基于Kubernetes微服务架构设计;
分配模块,用于所述分布式集群基于交互式计算笔记本环境为所述用户分配原子调度单元;
关联模块,用于所述原子调度单元关联目标服务器,所述目标服务器为notebook服务器;
计算模块,用于所述用户将待处理的机器学习任务发送至所述原子调度单元,以便所述原子调度单元基于所述目标服务器进行计算生成返回信息。
9.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。
10.一种计算机可读介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1-7中任一所述的方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海淇馥信息技术有限公司,未经上海淇馥信息技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011166411.X/1.html,转载请声明来源钻瓜专利网。





