[发明专利]一种分布式数据调度系统及方法

说明书

本发明提供了一种分布式数据调度系统及方法，该系统包括至少一个调度组件，所述调度组件，适于从文件系统中获取待处理离线日志，并将所述待处理离线日志分为多个子日志；所述调度组件，还适于将所述多个子日志分发至多个数据挖掘单元，并由所述数据挖掘单元根据预设规则从所述子日志中挖掘日志元数据；所述调度组件，还适于将所述日志元数据及其他过程信息存储至包含有多个预置数据库的存储组件中。解决了现有技术中由中央设备集中处理任务而造成的单点问题，当任务失败或执行设备出现故障，由其他设备节点继续执行，实现了任务失败自动多机重试，保证任务及时、正确运行。当任务执行过程中出现其他问题还可以通过该系统向用户进行报警通知。

技术领域

本发明涉及计算机技术领域，特别是涉及一种分布式数据调度系统及方法。

背景技术

海姆达尔是一个具有完全自主知识产权的海量数据挖掘与分析系统，该系统可以实现对海量数据的挖掘和处理，并提供方便易用的工具供数据挖掘人员和运营分析人员使用。目前分析人员采用该系统在查询文件时，查找到的是文件通常是原始日志，因此还需要对原始日志进行再次加工、处理、分析等，这无疑会增加分析人员的工作量，不利于提高分析人员的工作效率，此时为了能够为分析人员等提供便利，需要在海姆达尔系统中直接实现原始日志的进一步抽取、细化。

但是，目前在使用该系统进行数据挖掘处理或数据抽取任务时，都是基于脚本/计算平台/硬编码的方式串起整个流程。该种方式中，所有数据调度任务都由中央设备来统一完成，数据处理任务调度信息集中汇总到中央设备这一管理节点上，导致信息流拥挤，若该管理节点出现故障会影响整个系统的数据处理任务，并且，当前系统的数据处理任务效率低，无法满足直接在该系统中对原始日志进一步抽取、细化的需求。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的分布式数据调度系统和相应的方法。

依据本发明的一个方面，提供了一种分布式数据调度系统，包括至少一个调度组件，

所述调度组件，适于从文件系统中获取待处理离线日志，并将所述待处理离线日志分为多个子日志；

所述调度组件，还适于将所述多个子日志分发至多个数据挖掘单元，并由所述数据挖掘单元根据预设规则从所述子日志中挖掘日志元数据；

所述调度组件，还适于将所述日志元数据及其他过程信息存储至包含有多个预置数据库的存储组件中。

可选地，所述调度组件，还适于：

结合所述待处理离线日志的来源将所述待处理离线日志分为多个子日志，并根据各个数据挖掘单元的运行状态，将所述多个子日志分发至相应的数据挖掘单元。

可选地，所述数据挖掘单元，还适于：

基于MapReduce模型并采用Spark引擎对所述子日志进行挖掘，并提取日志元数据。

可选地，所述从文件系统中获取的待处理离线日志包括以下至少之一：

客户端访问服务端的行为所产生的日志、样本回扫行为产生的日志。

可选地，所述日志元数据的内容包括以下至少之一：

用户标识信息、日志类型。

可选地，所述调度组件，还适于：

监控各数据挖掘单元对相应子日志的挖掘过程，并在监控到任一挖掘过程运行异常时，自动启动其他数据挖掘单元继续对相应子日志进行挖掘。

可选地，所述调度组件还适于：