[发明专利]一种政务数据接入治理系统

说明书

本发明公开了一种政务数据接入治理系统，包括数据源整合模块，所述数据源整合模块内设置有政务数据元数据管理模块，所述政务数据元数据管理模块内设有数据去重模块、数据要素补齐模块、数据关联模块、数据格式统一模块、数据映射模块、数据字典转义模块、无效数据删除模块和数据脱敏模块，所述数据来源整合模块上连接有数据资源池模块。本申请能很好的通过对企业工商注册数据中符合条件的重复数据全部删除，避免其严重影响了数据的使用，通过企业工商注册数据去重组件实现了企业工商注册数据的高效治理，从而有助于形成高质量的数据资源池。

技术领域

本发明涉及数据接入治理技术领域，尤其涉及一种政务数据接入治理系统。

背景技术

政务数据是在政府行政过程中产生，涉及的部门众多，涵盖经济社会的方方面面，关联着自然人和法人。政务数据具有来源广泛、格式不统一、数据质量不高的特点。现有的ETL解决方案着力于数据的处理，面对复杂业务场景下的数据治理显得力不从心。

政务数据治理是数据治理在政务行业的应用，解决政务数据归集、数据资源建设、数据共享和数据应用等各种问题，以及保障数据安全。数据治理概念兴起于企业数据治理部门，国内外权威机构分别定义了数据治理的范畴。DAMA数据管理知识体系中提出数据治理的定义是在管理数据资产过程中行使权利和管控，包括计划、监控和实施；国内数据管理成熟度模型(DCMM)提出数据治理是对数据资产管理行使权利和控制的活动，指导其他数据管理活动如何执行。政务数据治理是从根本上建立数据标准和规范，统一数据资产管理，统一数据调度，保证数据可控、可用、可信的工程。同时，以数据运营的方式，从政务数据和社会数据中提升社会效益和经济效益，为数字政府和智慧城市的建设提供可信、可用的数据支撑。政务数据治理伴随着政务信息化、数字化建设浪潮，逐步演变成数字政府和新型智慧城市建设的必要和必需的手段，并为政务服务、城市治理、经济发展等领域提供数据。

政务信息数据来源广泛，且信息较为琐碎，如何能实现政务数据统一接入、统一治理，以便实现数据精细化管理，形成可用、好用、易用的数据资源，尤其数据在采集时，企业工商信息数据经常重复采集上传，导致其重复率较高，如何有效去除重复的企业工商信息数据也是本领域的难点问题，所以需要进行改进。

发明内容

本发明的目的是为了解决如何能实现政务数据统一接入、统一治理，以便实现数据精细化管理，形成可用、好用、易用的数据资源，实现数据效能的最大化的问题，而提出的一种政务数据接入治理系统。

为了实现上述目的，本发明采用了如下技术方案：

一种政务数据接入治理系统，包括数据源整合模块，所述数据源整合模块内设置有政务数据元数据管理模块，所述政务数据元数据管理模块内设有数据去重模块、数据要素补齐模块、数据关联模块、数据格式统一模块、数据映射模块、数据字典转义模块、无效数据删除模块和数据脱敏模块，所述数据来源整合模块上连接有数据资源池模块。

优选地，为了能有效去除所采集数据中重复的企业工商注册数据，有助于缩减信息量，提升数据治理效果，所述数据去重模块内设置有企业工商注册数据去重模块内设有企业名称重复数据模块、工商内部编码重复数据模块、工商注册号重复数据模块和统一社会信用码重复数据模块，所述企业名称重复数据模块、工商内部编码重复数据模块、工商注册号重复数据模块和统一社会信用码重复数据模块共同连接有待去重数据集模块，所述待去重数据集模块连接有数据集去重模块。

优选地，为了高效高质的去除重复的企业工商注册数据，所述待去重数据集模块的去重步骤包括：

S1、循环待去重数据集然后根据去重逻辑(状态一致、四项中两项重复)生成六种case情况；

S2、采用HashSet的数据结构存储存储重复情况，这样既能利用HashSet不可重复的特点减少集合数据量，又能利用HashSet快速查找的特点快速判断重复；