[发明专利]数据分析系统及数据分析方法

权利要求书

1.一种数据分析系统，包括：

待调度任务生成模块，用于根据预先定义的任务参数将收集的数据生成待调度的任务；

待调度任务存储模块，用于存储所述待调度任务生成模块生成的待调度的任务；

任务调度模块和任务处理模块，所述任务调度模块从所述待调度任务存储模块加载待调度的任务，并根据加载的任务的任务类型调用相应的任务处理模块；

所述任务处理模块根据所述任务中的分析需求生成相应的类结构化查询语言Hive SQL语句向基于分布式计算Hadoop的数据仓库服务器发送；在接收到所述服务器返回的数据后完成对所述任务的数据分析。

2.如权利要求1所述的系统，其特征在于，所述任务调度模块具体包括：主任务调度组件和从任务调度组件；

所述主任务调度组件用于从所述待调度任务存储模块加载待调度的任务，并根据加载的任务的任务类型调用相应的任务处理模块；

所述从任务调度组件用于在所述主任务调度组件退出运行或者无法正常运行后，从所述待调度任务存储模块加载待调度的任务，并根据加载的任务的任务类型调用相应的任务处理模块。

3.如权利要求2所述的系统，其特征在于，还包括优先级队列模块，其中：

所述任务调度模块还用于加载待调度的任务到调度栈后，将所述调度栈中任务执行时间到达的任务封装到优先级对象中，将所述优先级对象发送到优先级队列模块；

所述优先级队列模块用于接收到优先级对象后，将该优先级对象的优先级与所述优先级队列模块中其它优先级对象的优先级进行比较，根据比较结果对该优先级对象进行排序；

所述任务调度模块还用于从所述优先级队列模块中获取优先级最高的优先级对象，并根据获取的优先级对象中的任务的任务类型调用相应的任务处理模块进行数据分析。

4.如权利要求3所述的系统，其特征在于，所述优先级队列模块具体包括：主优先级队列单元和从优先级队列单元；以及

所述主任务调度组件还用于加载待调度的任务到调度栈后，将所述调度栈中任务执行时间到达的任务封装到优先级对象中，并将所述优先级对象发送到所述主优先级队列单元；

所述主优先级队列单元用于接收到优先级对象后，将该优先级对象的优先级与所述主优先级队列单元中其它优先级对象的优先级进行比较，根据比较结果对该优先级对象进行排序；

所述主任务调度组件还用于从所述主优先级队列单元中获取优先级最高的优先级对象，并根据获取的优先级对象中的任务的任务类型调用相应的任务处理模块进行数据分析；

所述从优先级队列单元用于定时保持其数据与所述主优先级队列单元中的数据的一致。

5.如权利要求4所述的系统，其特征在于，

所述从任务调度组件还用于在所述主任务调度组件退出运行或者无法正常运行后，加载待调度的任务到调度栈，将所述调度栈中任务执行时间到达的任务封装到优先级对象中，并将所述优先级对象发送到所述从优先级队列单元；并从所述从优先级队列单元中获取优先级最高的优先级对象，并根据获取的优先级对象中的任务的任务类型调用相应的任务处理模块进行数据分析；

所述从优先级队列单元还用于接收到优先级对象后，将该优先级对象的优先级与所述从优先级队列单元中其它优先级对象的优先级进行比较，根据比较结果对该优先级对象进行排序。

6.如权利要求1-5任一所述的系统，其特征在于，还包括：

任务管理模块，用于接收定义的任务参数，并将所述任务参数发送给所述待调度任务生成模块。

7.一种数据分析方法，包括：

待调度任务生成模块根据预先定义的任务参数将收集的数据生成待调度的任务后存储到待调度任务存储模块；

任务调度模块从所述待调度任务存储模块加载待调度的任务，并根据加载的任务的任务类型调用相应的任务处理模块；

所述任务处理模块根据所述任务中的分析需求生成相应的类结构化查询语言Hive SQL语句向基于分布式计算Hadoop的数据仓库服务器发送；在接收到所述服务器返回的数据后完成对所述任务的数据分析。