[发明专利]一种基于大数据的社保指标仓库的构建系统及其方法

摘要

本发明具体涉及一种基于大数据的社保指标仓库的构建系统及其方法，属于大数据应用技术领域。目的是利用大数据处理技术和分布式存储技术构建一种准确的、定时更新的以立方体结构存储组织的多维统计指标库，构建系统由数据源模块、业务数据采集模块、数据预处理模块、指标计算模块、指标元数据存储模块、数据存储模块、数据查询展示模块六部分组成。构建方法基于上述构建系统实现。本发明以社保业务数据为数据源，利用大数据处理技术和分布式存储技术构建一种准确、定时增量更新的指标数据仓库，能够进行快速的指标多维分析查询。

主权项

一种基于大数据的社保指标仓库的构建系统，其特征在于，所述构建系统包括：社保业务数据库，用于为构建社保指标仓库提供数据来源，同时为过程库的数据持续更新提供增量消息；业务数据采集模块，用于完成将业务数据一次性批量导入到社保业务过程数据库，以及数据从社保业务数据库到社保业务过程数据库的变更同步；数据预处理模块，用于完成数据的转换、整合，将数据处理为指标计算所需要的数据模式；所述数据预处理模块，包括Hive与过程库HBase整合模块、数据转换模块；所述Hive与过程库HBase整合模块，用于创建Hive外表，与过程库HBase数据库中的表相关联，实现Hive从HBase中实时读取数据，且Hive对外表的操作同时更新到HBase对应的表中；所述数据转换模块，用于进行数据类型、数据格式、数据取值的转换、抽取、表结构的转换；指标计算模块，用于定义、调度、执行指标计算任务，根据设置的任务执行时间，定时自动执行计算任务，完成从社保业务过程数据到社保指标数据转换整合，并将处理结果存储到社保指标数据仓库；所述指标计算模块，包括多维数据模型定义模块、指标计算任务调度模块、指标计算任务池；所述多维数据模型定义模块，用于根据社保统计指标的不同主题模块，定义相应的多维数据模型，包括数据源、统计指标、指标维度、聚合函数的定义；所述计算任务调度模块，用于根据数据模型定义模块中关于立方体模型的定义，添加指标数据计算任务，配置各个任务计算周期，定时执行指标计算任务，启动Kylin大数据计算引擎，进行相应的各维度组合下的指标值的计算，以数据立方的组织方式存储到HBase数据库中；所述指标计算任务池，包括数据模型立方体计算任务，每一个计算任务对应社保不同的统计主题模块，并且每一个计算任务被配置为一个定时的调度作业；指标元数据存储模块，用于存储社保指标数据模型相关信息，指标立方体构建信息；社保数据存储模块，用于为社保业务过程数据、社保指标仓库提供分布式存储支持，构建社保指标立方体数据仓库；所述社保数据存储模块，包括社保业务过程数据库、社保指标仓库；所述社保业务过程数据库，是一种分布式存储的HBase数据库，用于将业务数据库中的数据分布式存储，为分布式计算提供基础，为社保指标数据仓库的构建提供实时数据支持；所述社保指标立方体数据仓库，是一种分布式存储的HBase数据库，涵盖所有社保统计指标的各个维度的数据直观展现；数据查询展示模块，用于进行社保统计指标的多维查询展示，基于社保指标仓库，实现快速多维分析。