[发明专利]任务处理系统、方法、计算机设备和存储介质在审
申请号: | 201910376505.0 | 申请日: | 2019-05-07 |
公开(公告)号: | CN110069335A | 公开(公告)日: | 2019-07-30 |
发明(设计)人: | 胡利斌;杨纲;董延峰;张宁 | 申请(专利权)人: | 江苏满运软件科技有限公司 |
主分类号: | G06F9/48 | 分类号: | G06F9/48;G06F9/50 |
代理公司: | 上海隆天律师事务所 31282 | 代理人: | 臧云霄;钟宗 |
地址: | 210012 江苏省南京市*** | 国省代码: | 江苏;32 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明涉及大数据处理技术领域,提供一种任务处理系统、方法、计算机设备和存储介质。其中任务处理系统包括:任务提交模块,用于接收创建的任务,生成待处理任务并提交;应用发布模块,用于接收提交的各个待处理任务,通过YARN资源调度器向对应的DataNode节点申请各个待处理任务的执行资源,将各个待处理任务发送至对应的执行队列;任务执行模块,包括多个执行队列,各个执行队列根据接收的待处理任务,并行执行各个待处理任务;以及监控模块,与应用发布模块和任务执行模块通信,监控模块采集并监控应用发布数据和任务执行数据,以响应任务提交模块。本发明能够实现任务的自动化发布、执行和实时监控,提高任务处理效率和运行稳定性。 | ||
搜索关键词: | 任务处理系统 队列 任务提交模块 任务执行模块 应用发布模块 计算机设备 存储介质 监控模块 数据处理技术 运行稳定性 资源调度器 并行执行 发布数据 监控应用 任务处理 任务发送 任务执行 实时监控 自动化 采集 响应 通信 创建 申请 发布 | ||
【主权项】:
1.一种任务处理系统,其特征在于,包括:任务提交模块,用于接收创建的任务,生成待处理任务并提交;应用发布模块,用于接收提交的各个待处理任务,通过YARN资源调度器向对应的DataNode节点申请各个待处理任务的执行资源,将各个待处理任务发送至对应的执行队列;任务执行模块,包括多个执行队列,各个所述执行队列根据接收的待处理任务,并行执行各个所述待处理任务;以及监控模块,与所述应用发布模块和所述任务执行模块通信,所述监控模块采集并监控应用发布数据和任务执行数据,响应所述任务提交模块。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于江苏满运软件科技有限公司,未经江苏满运软件科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201910376505.0/,转载请声明来源钻瓜专利网。