[发明专利]一种基于大数据的社保指标仓库的构建系统及其方法

权利要求书

1.一种基于大数据的社保指标仓库的构建系统，其特征在于，所述构建系统包括：

社保业务数据库，用于为构建社保指标仓库提供数据来源，同时为过程库的数据持续更新提供增量消息；

业务数据采集模块，用于完成将业务数据一次性批量导入到社保业务过程数据库，以及数据从社保业务数据库到社保业务过程数据库的变更同步；

数据预处理模块，用于完成数据的转换、整合，将数据处理为指标计算所需要的数据模式；

所述数据预处理模块，包括Hive与过程库HBase整合模块、数据转换模块；

所述Hive与过程库HBase整合模块，用于创建Hive外表，与过程库HBase数据库中的表相关联，实现Hive从HBase中实时读取数据，且Hive对外表的操作同时更新到HBase对应的表中；

所述数据转换模块，用于进行数据类型、数据格式、数据取值的转换、抽取、表结构的转换；

指标计算模块，用于定义、调度、执行指标计算任务，根据设置的任务执行时间，定时自动执行计算任务，完成从社保业务过程数据到社保指标数据转换整合，并将处理结果存储到社保指标数据仓库；

所述指标计算模块，包括多维数据模型定义模块、指标计算任务调度模块、指标计算任务池；

所述多维数据模型定义模块，用于根据社保统计指标的不同主题模块，定义相应的多维数据模型，包括数据源、统计指标、指标维度、聚合函数的定义；

所述计算任务调度模块，用于根据数据模型定义模块中关于立方体模型的定义，添加指标数据计算任务，配置各个任务计算周期，定时执行指标计算任务，启动Kylin大数据计算引擎，进行

相应的各维度组合下的指标值的计算，以数据立方的组织方式存储到HBase数据库中；

所述指标计算任务池，包括数据模型立方体计算任务，每一个计算任务对应社保不同的统计主题模块，并且每一个计算任务被配置为一个定时的调度作业；

指标元数据存储模块，用于存储社保指标数据模型相关信息，指标立方体构建信息；

社保数据存储模块，用于为社保业务过程数据、社保指标仓库提供分布式存储支持，构建社保指标立方体数据仓库；

所述社保数据存储模块，包括社保业务过程数据库、社保指标仓库；

所述社保业务过程数据库，是一种分布式存储的HBase数据库，用于将业务数据库中的数据分布式存储，为分布式计算提供基础，为社保指标数据仓库的构建提供实时数据支持；

所述社保指标立方体数据仓库，是一种分布式存储的HBase数据库，涵盖所有社保统计指标的各个维度的数据直观展现；

数据查询展示模块，用于进行社保统计指标的多维查询展示，基于社保指标仓库，实现快速多维分析。

2.如权利要求1所述的基于大数据的社保指标仓库的构建系统，其特征在于，所述社保业务数据库，包括Redo日志分析模块、AQ模块；

所述Redo日志分析模块，用于分析业务数据库中的Redo日志，产生增量变更消息发送到AQ模块；

所述AQ模块，是一种Oracle数据库提供的消息队列，用于接受和临时存储Redo日志分析模块发送的增量变更消息流。

3.如权利要求1所述的基于大数据的社保指标仓库的构建系统，其特征在于，所述业务数据采集模块，包括批量导入模块和变更同步模块；

所述批量导入模块，用于将分散于各地市的社保业务数据库中的数据，批量导入到分布式存储的社保业务过程数据库中，完成社保过程数据的初始化；

所述变更同步模块，用于将业务数据库中自批量导入以后变更的数据实时同步到过程库中，Storm增量拓扑接收高级队列中的变更消息流，对其进行解析，将变更数据同步到过程库中，并进行相应的数据表索引更新，实现从业务数据库到业务过程库的变更同步。

4.如权利要求1所述的基于大数据的社保指标仓库的构建系统，其特征在于，所述数据查询展示模块，包括查询定义模块、查询模块、结果展示模块，

所述查询定义模块，用于从指标元数据模块获取数据仓库信息，定义要查询的指标、维度、过滤条件及查询结果展示形式，结果展示形式包括表格、饼图、柱状图、折线图；

所述数据查询模块，用于将查询需求解析为相应的查询语句，通过Kylin接口，执行数据查询任务，返回查询结果；

所述结果展示模块，用于将查询结果通过相应的展示组件呈现。

5.一种基于大数据的社保指标仓库的构建方法，其特征在于，所述方法包括以下步骤：

步骤201，配置业务数据采集模块中的批量导入模块，将分散在各个社保业务数据库中的数据批量导入到基于分布式存储的业务过程数据库中，为进行社保指标仓库的构建提供数据支持；

步骤202，完成业务过程数据库的批量导入后，在业务数据库配置Oracle Streams实现Redo日志分析，捕获增量变更消息到高级队列中存储；

步骤203，配置业务数据采集模块中的变更同步模块，构建运行Storm增量拓扑，Storm拓扑接受来自高级队列中的变更消息，将变更数据同步到业务历程数据库，并更新索引表，保证过程库的一致性和实时性；

步骤204，配置数据转换模块，添加数据转换任务，建立过程库HBase到Hive的外表，实现从Hive实时读取过程库HBase表数据，转换模块根据配置信息建立Hive视图，实现数据类型、格式转换及多表连接等数据预处理；

步骤205，配置指标计算模块，完成指标数据模型定义，并通过作业调度模块执行和作业定义相匹配的指标计算任务池中的任务，完成从业务历程库到社保指标仓库的计算，元数据存储模块保存相应的数据模型、指标计算信息；基于Kylin大数据引擎实现指标立方体的预计算；

步骤206，完成指标仓库的构建后，进行快速的OLAP查询分析，查询定义模块从指标元数据中获取已构建指标立方体相关信息，定义多维分析需求。数据查询模块解析需求，从指标仓库中预计算好的数据中获取查询结果返回给展示模块，展示模块根据需求配置进行结果展示。