[发明专利]一种应对大规模数据多维聚合实时查询的数据处理平台

摘要

本发明公开了一种应对大规模数据多维聚合实时查询的数据处理平台，包括数据服务首页、数据查询、数据处理以及系统管理，其中平台角色分为普通人员和管理人员，其中系统管理模块只针对管理人员开放，数据处理分为项目管理和cube管理，系统管理模块分为集群监控和项目权限管理，本发明提供可视化操作界面，降低操作难度与学习成本，使多维分析查询效率大大提升，响应时间降低至毫秒级；同时因为数据的计算是通过预处理方式进行处理，数据的计算使用硬盘计算，相对于spark使用内存计算，成本更低，且预计算模式不追求计算的高实时性，用户可以根据需求降低服务器集群成本；提供任务监控和集群监控功能，可以帮助用户有效的管理集群和数据处理任务。

主权项

1.一种应对大规模数据多维聚合实时查询的数据处理平台，其特征在于，包括数据服务首页、数据查询、数据处理以及系统管理四个模块，其中平台角色分为普通人员和管理人员，其中系统管理模块只针对管理人员开放，数据处理分为项目管理和cube管理，系统管理模块分为集群监控和项目权限管理，其中，/n数据服务首页：汇总平台上相关cube以及任务数据，提供任务总数，cube总数以及每日新增cube数量，可以通过图表形式查看每日成功或者失败的计算任务或者cube；/n数据查询：可视化的SQL提交界面，用户可以在查询界面内通过编写sql的方式预览需要处理的数据表信息；/n项目管理：可以新增或编辑项目，并通过项目的各种基本信息进行项目的查询，项目需要指定有管理此项目权限的用户，项目中需要对数据表进行绑定，也就是当前项目需要用到哪些表信息，roc还会针对已加载的表进行检测，当hive中表进行更改会做出相应的提醒；/ncube管理：可以新增并编辑cube，并可以根据cube信息进行查询，提供cube调度功能按钮，可以将cube添加到任务队列中，按照周期定时执行，新建cube中需要对指标字段进行指定计算方式，在构建cube中，可以根据数据内容进行不同的优化，包括必要维度，层级维度，衍生维度；/n集群监控：roc计算节点的服务器运行状态监控，可以查看当前服务器运行的负载情况以及服务器当前的运行状态指标；/n项目权限管理：管理平台用户角色，分配项目管理权限。/n