[发明专利]一种基于大数据的社保指标仓库的构建系统及其方法

说明书

技术领域

本发明具体涉及一种基于大数据的社保指标仓库的构建系统及其方法，属于大数据应用技术领域。

背景技术

目前，在大数据时代背景下，社保家底数据如征缴企业养老保险基金金额、社保覆盖人口比例等的统计分析面临挑战。社保的大量数据处于分散存储状态，存在信息孤岛现象，社保统计信息服务决策、服务管理、服务社会的巨大潜力尚未开发；基于数据库的统计查询、人工多口径信息提取等手段落后，导致统计数据客观性、真实性、便捷性存在问题

随着信息化技术的不断发展，社会保险系统已经积累了大量的业务数据。通过收集、整理、挖掘、利用社保业务数据，构建社保统计指标，实现从多个角度或者从不同的考察范围来观察某一指标或多个指标，进行分析对比，找出这些指标间隐藏的内在关系，并预测这些指标的发展趋势，为社会保险改革决策提供科学的依据。是深化大数据在社会保险服务应用的有效手段。

联机分析处理(OLAP)是一种将原始数据转化为可从多视角观察数据的软件技术。OLAP的主要工作就是将数据仓库中的数据转换到多维数据结构中，并且对上述多维数据结构执行有效且非常复杂的多维查询。

传统的数据仓库一般采用集中式结构化存储方式，单节点运行计算，配置起来比较简单。然而社保统计指标的重要数据来源就是社保业务数据，社保业务数据普遍分散在各个社保领域(养老、医疗)的业务数据库中，加之社保业务数据具有地域分布广、涉及系统多、数据规模大、结构较松散等问题。往往要对多张数据表中成千上万条数据进行综合查询，传统数据仓库的性能越来越难以满足这类复杂的查询需求，且随着数据量的积累，数据仓库扩容将是一个巨大的问题。

对海量社保数据的多维查询分析，查询速度是评价系统性能的关键因素。当前国内外关于大数据联机分析处理的研究成果多种多样，但是针对社保应用海量数据实现的分布式多维分析系统不多见。普遍是通过优化计算策略、查询操作方法来实现多维分析效率的提升。

发明内容

本发明为了解决上述问题，提供一种社保大数据指标仓库的构建方法及系统。系统以社保业务数据为数据源，利用大数据处理技术和分布式存储技术构建一种准确的、定时更新的以立方体结构存储组织的多维统计指标库，并提供指标快速查询和展示功能。

本方法和系统将指标构建分为数据采集阶段和指标仓库构建阶段。

数据采集阶段，分为批量导入和变更同步两个部分。批量导入是将分散于各地市的社保业务数据按照设计的组织原则，一次性经过抽取、转换，整合到统一的过程库(基于HBase数据库)，完成从业务数据库到业务过程数据库的初始批量导入；变更同步阶段，在各个业务数据库中配置Oracle Streams，分析Redo日志，将包含业务数据库变更操作的消息分发到Oracle高级队列，然后将变更消息转换成消息流，利用Apache Storm将变更数据同步到业务过程数据库HBase中。保证整合后的业务过程数据库的实时性和准确性。

指标仓库构建阶段。基于开源大数据引擎Kylin，借助Hive工具加载数据，按照多维分析模型定义的事实表、维表、事实表和维表的连接关系，进行多维指标立方的预计算，并以立方体组织形式将数据保存到指标库中(基于HBase数据库)。设置指标计算周期，定时自动执行增量数据的指标立方体构建。

本方法及系统提供的查询展示功能包括，根据多维查询请求，解析多维数据模型信息及Kylin引擎识别的查询语句，实现快速从指标仓库中获取数据，并按需求的方式将结果展示。

为了实现上述目的，本发明采用如下的技术方案：

基于大数据的社保指标仓库的构建系统，包括：

社保业务数据库，为社保指标仓库的计算提供原始数据来源，为数据的变更同步提供增量变更消息流；

业务数据采集模块，用于完成从业务数据到社保业务过程数据的批量导入和变更同步；

数据预处理模块，用于对数据格式、类型、表结构等进行转换处理，将数据转为Apache Kylin(一种大数据分布式计算引擎)计算所支持的数据模式；

指标计算模块，用于定义、调度、执行指标计算任务，根据设置的计算周期，自动定时执行指标计算；

指标元数据存储模块，用于存储社保指标数据模型相关信息，指标立方体构建信息；

社保数据存储模块，为社保业务过程数据和社保指标仓库数据提供分布式存储支持，构建社保业务过程库和社保指标仓库；

数据查询展示模块，用于定义查询需求及执行查询，并将结果展示。