[发明专利]大数据实时计算方法及平台

权利要求书

1.一种大数据实时计算方法，其特征在于，包括以下步骤：

创建实时计算任务，并配置实时计算任务的任务信息，所述任务信息包括集群信息、数据源信息和数据存储信息；

根据所述集群信息分配所述实时计算任务到对应的计算集群；

将所述实时计算任务解析生成有向无环DAG图，并根据所述有向无环图生成计算程序；

所述计算集群申请资源并根据所述计算程序从所述数据源信息获取数据执行计算分析所述实时计算任务，并建立实时数据模型；

根据所述存储信息保存计算分析结果，并且所述分析结果可多次复用。

2.根据权利要求1所述的大数据实时计算方法，其特征在于，所述创建实时计算任务，并配置实时计算任务的任务信息的步骤，包括：

所创建的所述实时计算任务可跨集群提交任务。

3.根据权利要求2所述的大数据实时计算方法，其特征在于，所创建的所述实时计算任务是基于结构化查询语言SQL创建的。

4.根据权利要求1所述的大数据实时计算方法，其特征在于，所述计算集群为多计算集群，每个所述计算集群根据按照业务逻辑分成独立的集群。

5.根据权利要求1所述的大数据实时计算方法，其特征在于，所述数据源信息和数据存储信息包括至少一个数据源及至少一个存储端信息。

6.根据权利要求1所述的大数据实时计算方法，其特征在于，根据所述实时数据模型，对所述实时计算任务进行指向性恢复。

7.根据权利要求1所述的大数据实时计算方法，其特征在于，所述方法还包括：

采集并分析所述实时计算任务日志，提前预警任务异常状态。

8.一种大数据实时计算平台，其特征在于，包括：任务创建模块、计算集群、任务管理器、语法解析模块、程序生成模块和数据仓库，所述实时计算平台中各模块间通信连接，其中

所述任务创建模块，用于创建实时计算任务，并配置实时计算任务的任务信息，所述任务信息包括集群信息、数据源信息和数据存储信息；

所述任务管理器，用于根据所述集群信息分配所述实时计算任务到对应的计算集群；

所述语法解析模块解析生成所述实时计算任务的有向无环DAG图，所述程序生成模块根据所述有向无环图生成计算程序；

所述计算集群申请资源并根据所述计算程序从所述数据源信息获取数据执行计算分析所述实时计算任务，并建立实时数据模型；

所述数据仓库，用于根据所述存储信息保存计算分析结果，并且所述分析结果可多次复用。

9.根据权利要求8所述的大数据实时计算平台，其特征在于，所述计算集群为多集群管理系统。

10.根据权利要求8或9所述的大数据实时计算平台，其特征在于，所述实时计算平台还包括日志管理模块和预警模块，所述日志管理模块和预警模块通信连接，所述日志管理模块实时采集并挖掘分析所述实时计算平台的各类日志，所述预警模块对所述实时计算平台的各类异常状态提前预警。