[发明专利]大数据实时计算方法及平台

说明书

本发明提供一种大数据实时计算方法及平台，该方法包括创建实时计算任务，并配置实时计算任务的任务信息，任务信息包括集群信息、数据源信息和数据存储信息；根据集群信息分配实时计算任务到对应的计算集群；将实时计算任务解析生成有向无环DAG图，根据有向无环图生成计算程序；计算集群申请资源并根据计算程序从数据源信息获取数据执行计算分析实时计算任务，并建立实时数据模型；根据存储信息保存计算分析结果，并且分析结果可多次复用。本申请在创建任务时配置数据源以获取精准数据，并根据业务需求配置计算集群执行分析实时计算任务，通过数据建模，以使分析结果更加精准，并且分析结果可多次复用，以恢复节点数据，异常时不必再从头开始计算。

技术领域

本发明涉及大数据领域，具体涉及大数据实时计算分析领域，特别是涉及一种大数据实时计算方法以及实时计算平台。

背景技术

随着大数据的应用场景越来越广泛，离线的大数据分析和挖掘难以满足用户对各类业务实时反馈的诉求，在一些场景下，需要对不断发生变化的数据进行各种逻辑计算，以在较短的时间内完成数据的统计、监控和分析功能。大数据实时分析平台应运而生，通过开发相应的实时计算程序，开发实时分析平台以满足低延迟的数据分析和挖掘，从而支撑各类实时业务场景和系统。

常见的实时程序都是使用底层程序设计语言进行开发，如C++语言、Java语言，主要是通过事先编写好的实时分析程序去完成计算过程，也有部分采用SQL的方式去执行一些简单的分析任务，所有的任务都是通过加载配置好的数据源进行分析，并将最终结果存入数据存储以提供给业务端使用，其无法对实时数据做到更复杂的计算逻辑，并且计算分析过程的中间结果不能复用。

发明内容

为了解决上述问题，本发明的目的是提供一种大数据实时计算方法及平台，该方法在创建任务时配置数据源以获取精准数据，并根据业务需求配置计算集群执行分析实时计算任务，并对实时数据建模，应用多种算法进行业务计算，以使分析结果更加精准，并且分析结果可多次复用，以恢复节点数据，异常时不必再从头开始计算。

基于此，本发明提供了一种大数据实时计算方法，所述大数据实时计算方法包括以下步骤：

创建实时计算任务，并配置实时计算任务的任务信息，所述任务信息包括集群信息、数据源信息和数据存储信息；

根据所述集群信息分配所述实时计算任务到对应的计算集群；

将所述实时计算任务解析生成有向无环DAG图，并根据所述有向无环图生成计算程序；

所述计算集群申请资源并根据所述计算程序从所述数据源信息获取数据执行计算分析所述实时计算任务，并建立实时数据模型；

根据所述存储信息保存计算分析结果，并且所述分析结果可多次复用。

其中，所述创建实时计算任务，并配置实时计算任务的任务信息的步骤，包括：

所创建的所述实时计算任务可跨集群提交任务。

其中，所创建的所述实时计算任务是基于结构化查询语言SQL创建的。

其中，所述计算集群为多计算集群，每个所述计算集群根据按照业务逻辑分成独立的集群。

其中，所述数据源信息和数据存储信息包括至少一个数据源及至少一个存储端信息。

其中，根据所述实时数据模型，对所述实时计算任务进行指向性恢复。

其中，所述方法还包括：

采集并分析所述实时计算任务日志，提前预警任务异常状态。

本发明还提供了一种大数据实时计算平台，包括：任务创建模块、计算集群、任务管理器、语法解析模块、程序生成模块和数据仓库，所述实时计算平台中各模块间通信连接，其中