[发明专利]一种分布式数据调度系统及方法在审
| 申请号： | 201810689485.8 | 申请日： | 2018-06-28 |
| 公开（公告）号： | CN109033196A | 公开（公告）日： | 2018-12-18 |
| 发明（设计）人： | 王肖磊;王志超;李敬轩 | 申请（专利权）人： | 北京奇虎科技有限公司 |
| 主分类号： | G06F17/30 | 分类号： | G06F17/30 |
| 代理公司： | 北京智汇东方知识产权代理事务所(普通合伙) 11391 | 代理人： | 康正德;盛惠华 |
| 地址： | 100088 北京市西城区新*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明提供了一种分布式数据调度系统及方法，该系统包括至少一个调度组件，所述调度组件，适于从文件系统中获取待处理离线日志，并将所述待处理离线日志分为多个子日志；所述调度组件，还适于将所述多个子日志分发至多个数据挖掘单元，并由所述数据挖掘单元根据预设规则从所述子日志中挖掘日志元数据；所述调度组件，还适于将所述日志元数据及其他过程信息存储至包含有多个预置数据库的存储组件中。解决了现有技术中由中央设备集中处理任务而造成的单点问题，当任务失败或执行设备出现故障，由其他设备节点继续执行，实现了任务失败自动多机重试，保证任务及时、正确运行。当任务执行过程中出现其他问题还可以通过该系统向用户进行报警通知。 | ||
| 搜索关键词： | 日志 调度组件 数据挖掘单元 分布式数据 调度系统 离线日志 元数据 预置数据库 报警通知 存储组件 过程信息 集中处理 继续执行 任务执行 设备节点 预设规则 中央设备 失败 单点 多机 重试 分发 存储 挖掘 保证 | ||
【主权项】：
1.一种分布式数据调度系统，包括至少一个调度组件，所述调度组件，适于从文件系统中获取待处理离线日志，并将所述待处理离线日志分为多个子日志；所述调度组件，还适于将所述多个子日志分发至多个数据挖掘单元，并由所述数据挖掘单元根据预设规则从所述子日志中挖掘日志元数据；所述调度组件，还适于将所述日志元数据及其他过程信息存储至包含有多个预置数据库的存储组件中。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于北京奇虎科技有限公司，未经北京奇虎科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201810689485.8/，转载请声明来源钻瓜专利网。
