[发明专利]一种分布式数据调度系统及方法

权利要求书

1.一种分布式数据调度系统，包括至少一个调度组件，

所述调度组件，适于从文件系统中获取待处理离线日志，并将所述待处理离线日志分为多个子日志；

所述调度组件，还适于将所述多个子日志分发至多个数据挖掘单元，并由所述数据挖掘单元根据预设规则从所述子日志中挖掘日志元数据；

所述调度组件，还适于将所述日志元数据及其他过程信息存储至包含有多个预置数据库的存储组件中。

2.根据权利要求1所述的系统，其中，所述调度组件，还适于：

结合所述待处理离线日志的来源将所述待处理离线日志分为多个子日志，并根据各个数据挖掘单元的运行状态，将所述多个子日志分发至相应的数据挖掘单元。

3.根据权利要求2所述的系统，其中，所述数据挖掘单元，还适于：

基于MapReduce模型并采用Spark引擎对所述子日志进行挖掘，并提取日志元数据。

4.根据权利要求1-3任一项所述的系统，其中，所述从文件系统中获取的待处理离线日志包括以下至少之一：

客户端访问服务端的行为所产生的日志、样本回扫行为产生的日志。

5.根据权利要求1-3任一项所述的系统，其中，所述日志元数据的内容包括以下至少之一：

用户标识信息、日志类型。

6.根据权利要求1-3任一项所述的系统，其中，所述调度组件，还适于：

监控各数据挖掘单元对相应子日志的挖掘过程，并在监控到任一挖掘过程运行异常时，自动启动其他数据挖掘单元继续对相应子日志进行挖掘。

7.根据权利要求1-3任一项所述的系统，其中，所述调度组件还适于：

若所述存储组件中的多个预置数据库包括mysql数据库、etcd数据库以及redis数据库，则将所述日志元数据存储至所述mysql数据库和/或etcd数据库，以及将其他过程信息存储至所述redis数据库中。

8.一种分布式数据调度方法，包括：

从文件系统中获取待处理离线日志，并将所述待处理离线日志分为多个子日志；

将所述多个子日志分发至多个数据挖掘单元，并由所述数据挖掘单元根据预设规则从所述子日志中挖掘日志元数据；

将所述日志元数据及其他过程信息存储至包含有多个预置数据库的存储组件中。

9.一种计算机存储介质，所述计算机存储介质存储有计算机程序代码，当所述计算机程序代码在计算机上运行时，导致所述计算机执行权利要求8所述的分布式数据调度方法。

10.一种计算设备，包括：处理器；存储有计算机程序代码的存储器；当所述计算机程序代码被所述处理器运行时，导致所述计算设备执行权利要求8所述的分布式数据调度方法。