[发明专利]一种应对大规模数据多维聚合实时查询的数据处理平台

权利要求书

1.一种应对大规模数据多维聚合实时查询的数据处理平台，其特征在于，包括数据服务首页、数据查询、数据处理以及系统管理四个模块，其中平台角色分为普通人员和管理人员，其中系统管理模块只针对管理人员开放，数据处理分为项目管理和cube管理，系统管理模块分为集群监控和项目权限管理，其中，

数据服务首页：汇总平台上相关cube以及任务数据，提供任务总数，cube总数以及每日新增cube数量，可以通过图表形式查看每日成功或者失败的计算任务或者cube；

数据查询：可视化的SQL提交界面，用户可以在查询界面内通过编写sql的方式预览需要处理的数据表信息；

项目管理：可以新增或编辑项目，并通过项目的各种基本信息进行项目的查询，项目需要指定有管理此项目权限的用户，项目中需要对数据表进行绑定，也就是当前项目需要用到哪些表信息，roc还会针对已加载的表进行检测，当hive中表进行更改会做出相应的提醒；

cube管理：可以新增并编辑cube，并可以根据cube信息进行查询，提供cube调度功能按钮，可以将cube添加到任务队列中，按照周期定时执行，新建cube中需要对指标字段进行指定计算方式，在构建cube中，可以根据数据内容进行不同的优化，包括必要维度，层级维度，衍生维度；

集群监控：roc计算节点的服务器运行状态监控，可以查看当前服务器运行的负载情况以及服务器当前的运行状态指标；

项目权限管理：管理平台用户角色，分配项目管理权限。

2.根据权利要求1所述的一种应对大规模数据多维聚合实时查询的数据处理平台，其特征在于，用户使用平台开发任务步骤如下：

步骤1)：新建项目；

步骤2)：项目中绑定数据表；

步骤3)：新建cube；

步骤4)：指定cube计算方式；

步骤5)：调度并构建cube；

步骤6)：数据查询。

3.根据权利要求1所述的一种应对大规模数据多维聚合实时查询的数据处理平台，其特征在于，数据流转过程如下：

步骤31)：用户通过平台构建cube调度任务；

步骤32)：任务会根据用户设置的运行周期自动调度；

步骤33)：平台的构建引擎会解析用户在cube创建时添加的维度和指标；

步骤34)：构建引擎重构任务为SQL，提交到底层计算集群中；

步骤35)：计算集群会对提交的SQL进行解析；

步骤36)：从HIVE元数据中读取任务所需要的元数据；

步骤37)：通过第五步解析的SQL结合第六步提取的元数据进行计算；

步骤38)：将根据第三步中定义好的维度和指标，通过第七步生成结果数据，写入到hbase数据库中；

步骤39)：用户想要根据设定好的维度进行多维分析查询时候，可以使用JDBC的API调用方式或者是使用数据查询功能对指标进行查询；

步骤310)：SQL解析引擎会将解析的查询语句提交到查询引擎；

步骤311)：查询引擎会从HBASE数据库中进行数据的读取并返还展示给查询用户。