[发明专利]一种企业管理数据分析处理系统及其方法在审
申请号: | 201711218525.2 | 申请日: | 2017-11-28 |
公开(公告)号: | CN109840138A | 公开(公告)日: | 2019-06-04 |
发明(设计)人: | 黄建;黄翔;黄东 | 申请(专利权)人: | 广州市东宏软件科技有限公司 |
主分类号: | G06F9/48 | 分类号: | G06F9/48 |
代理公司: | 暂无信息 | 代理人: | 暂无信息 |
地址: | 511400 广东省广*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 企业管理数据 分析处理系统 任务调度模块 数据分析 调度 关系型数据库 企业管理技术 任务处理模块 任务存储模块 任务生成模块 数据分析流程 分析处理 交互管理 人性化 分表 上层 合并 管理 | ||
1.一种企业管理数据分析处理系统,其特征在于,包括:
待调度任务生成模块,用于根据预先定义的任务参数将收集的数据生成待调度的任务;
待调度任务存储模块,用于存储所述待调度任务生成模块生成的待调度的任务;
任务调度模块和任务处理模块,所述任务调度模块从所述待调度任务存储模块加载待调度的任务,并根据加载的任务的任务类型调用相应的任务处理模块;
所述任务处理模块根据所述任务中的分析需求生成相应的类结构化查询语言HiveSQL语句向基于分布式计算Hadoop的数据仓库服务器发送;在接收到所述服务器返回的数据后完成对所述任务的数据分析。
2.根据权利要求1所述的企业管理数据分析处理系统,其特征在于,所述任务调度模块具体包括:主任务调度组件和从任务调度组件;
所述主任务调度组件用于从所述待调度任务存储模块加载待调度的任务,并根据加载的任务的任务类型调用相应的任务处理模块;
所述从任务调度组件用于在所述主任务调度组件退出运行或者无法正常运行后,从所述待调度任务存储模块加载待调度的任务,并根据加载的任务的任务类型调用相应的任务处理模块。
3.根据权利要求2所述的企业管理数据分析处理系统,其特征在于,还包括优先级队列模块,其中:
所述任务调度模块还用于加载待调度的任务到调度栈后,将所述调度栈中任务执行时间到达的任务封装到优先级对象中,将所述优先级对象发送到优先级队列模块;
所述优先级队列模块用于接收到优先级对象后,将该优先级对象的优先级与所述优先级队列模块中其它优先级对象的优先级进行比较,根据比较结果对该优先级对象进行排序;
所述任务调度模块还用于从所述优先级队列模块中获取优先级最高的优先级对象,并根据获取的优先级对象中的任务的任务类型调用相应的任务处理模块进行数据分析。
4.根据权利要求3所述的企业管理数据分析处理系统,其特征在于,所述优先级队列模块具体包括:主优先级队列单元和从优先级队列单元;以及
所述主任务调度组件还用于加载待调度的任务到调度栈后,将所述调度栈中任务执行时间到达的任务封装到优先级对象中,并将所述优先级对象发送到所述主优先级队列单元;
所述主优先级队列单元用于接收到优先级对象后,将该优先级对象的优先级与所述主优先级队列单元中其它优先级对象的优先级进行比较,根据比较结果对该优先级对象进行排序;
所述主任务调度组件还用于从所述主优先级队列单元中获取优先级最高的优先级对象,并根据获取的优先级对象中的任务的任务类型调用相应的任务处理模块进行数据分析;
所述从优先级队列单元用于定时保持其数据与所述主优先级队列单元中的数据的一致。
5.根据权利要求4所述的企业管理数据分析处理系统,其特征在于,
所述从任务调度组件还用于在所述主任务调度组件退出运行或者无法正常运行后,加载待调度的任务到调度栈,将所述调度栈中任务执行时间到达的任务封装到优先级对象中,并将所述优先级对象发送到所述从优先级队列单元;并从所述从优先级队列单元中获取优先级最高的优先级对象,并根据获取的优先级对象中的任务的任务类型调用相应的任务处理模块进行数据分析;
所述从优先级队列单元还用于接收到优先级对象后,将该优先级对象的优先级与所述从优先级队列单元中其它优先级对象的优先级进行比较,根据比较结果对该优先级对象进行排序。
6.根据权利要求5所述的企业管理数据分析处理系统,其特征在于,还包括:
任务管理模块,用于接收定义的任务参数,并将所述任务参数发送给所述待调度任务生成模块。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于广州市东宏软件科技有限公司,未经广州市东宏软件科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201711218525.2/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种跨核调度方法和装置
- 下一篇:资源管理的方法、装置、电子设备及存储介质