[发明专利]基于大数据的人社人员档案袋数据库的构建方法及系统

说明书

本发明公开了基于大数据的人社人员档案袋数据库的构建方法及系统；包括：人社业务数据库，为人社人员档案袋数据库的初始化提供原始数据来源，为数据的增量计算提供消息流LCRs；业务数据同步模块，用于完成数据从业务数据到人社过程数据的初始化，实现从人社业务数据库到人社业务过程数据库的增量同步；档案信息初始化模块，用于定义、调度、执行档案信息初始化任务，完成对人社业务过程数据的抽取、转换、清洗和整合，将结果存储到人社人员档案袋数据库；增量消息存储模块，接收增量同步模块的增量消息，为档案信息增量计算模块提供触发流计算的增量消息流；本发明以人社业务数据为数据源，利用大数据处理技术和分布式存储技术构建一种准确、实时的人员档案袋。

技术领域

本发明涉及一种基于大数据的人社人员档案袋数据库的构建方法及系统。

背景技术

随着人社数据一体化建设不断推进，急需在人社领域内构建一种准确定位“人”的信息、实时描绘“人”的发展轨迹的人员档案袋。构建一种准确、实时的人员档案袋，不仅有助于协调政府各职能部门之间的信息共享，提升工作效率；而且可以为人社人员提供了一种结构调理、层次清晰，内容明确的人员档案数据，为人社基础信息服务和信息公开提供了重要保障。构建人社人员档案袋数据库的重要数据来源就是人社业务数据，然而人社业务数据普遍分散在各个人社领域(养老、医疗、待遇、就业、教育等)的业务数据库中，加之人社业务数据具有地域分布广、涉及系统多、数据规模大、数据噪声多等问题，给梳理组织人社业务数据构建人社人员档案袋数据库带来了极大的难度和挑战。由于人社业务数据规模巨大，利用传统的数据处理和解决方案构建人员档案袋速度慢、时延高，无法满足数据实时性需求，然而目前国内外在人社领域提出基于大数据处理技术构建人社人员档案袋数据库的方法和系统却不多，普遍的研究内容是针对传统人员档案提供一些档案的快速搜索方法，或提出一些方法或装置构建一种基于纸质档案的电子档案。

在专利【CN105335506A】中，一种电子档案编研方法及系统通过对电子档案内容进行关联分析，得到一级关联信息、二级关联信息；并通过所属一级参考、二级参考信息，对用户选题及选材做出辅助、推荐，提高了用户查阅电子档案的效率，节省了用户筛选素材的时间，但是并没有提供一种能够在海量数据规模下，对海量人社业务数据进行清洗、转换、计算、整合，构建完整的人员档案信息的有效方法或系统。

在专利【CN105303321A】中，一种档案管理方法及装置通过获取纸质档案的电子档案，并生成电子档案的第一关键信息和第二关键信息，然后将电子档案、第一关键信息和第二关键信息同步到云存储系统中，实现纸质形态的档案的电子管理，借助于电子存储设备来降低存储费用。此方法和装置仅仅是基于纸质档案来构建电子档案，并不能满足根据业务历史数据来构建电子档案信息库的需求。

发明内容

本发明的目的就是为了解决上述问题，提供一种基于大数据的人社人员档案袋数据库的构建方法及系统，系统以人社业务数据为数据源，利用大数据处理技术和分布式存储技术构建一种准确、实时的人员档案袋。

本方法和系统将人社人员档案袋数据库的构建分为初始化阶段和增量同步阶段。

初始化阶段，首先将分散在各地市的人社业务数据集中导入到人社业务过程数据库(基于HBASE数据库，HBASE，即一种按列存储的分布式数据库)，完成人社业务数据库到人社业务过程数据库的初始化；然后基于人社业务过程数据库，利用Apache Spark(一种分布式大数据处理框架)大数据处理技术，实现人社业务数据的抽取、清洗、转换，重新组织并保存到人社人员档案袋数据库(基于MongoDB数据库，MongoDB，一种按文档存储的分布式数据库)中，实现人社人员档案袋数据库的初始化；