[发明专利]一种基于政府数据的综合治理服务的方法

说明书

技术领域

本发明涉及数据处理技术领域，具体地说是一种基于政府数据的综合治理服务的方法。

背景技术

随着政府数据量的增长、数据价值挖掘需求的增加，数据管理难度逐步加大，政府大数据安全问题也开始展现。数据共享平台、数据开放平台、政府大数据中心的建设，让各级政府部门感受到政府大数据带来的价值与无限前景，认识到政府大数据的重要性和必要性。各级政府部门对数据的共享、开放范围的要求逐步提高，对数据种类的需求逐步提升，对数据质量、数据安全的要求也逐步增强，造成数据管理过程中的数据梳理、数据抽取、数据采集、数据清洗和数据安全管理难度逐渐增大，数据关联、数据检索、数据碰撞、数据探索、查询比对等功能要求也不断增多，对政府大数据管理平台的建设提出更高要求。

数据治理是对数据资产的管理行使权利和控制的活动集合（规划、监控和执行）。数据治理能够职能的指导其他数据管理职能如何执行。目前，针对政府数据的数据治理服务，通常以各委办单位业务系统形式存在，工程庞大复杂的同时，治理服务的形式与内容过于单一，会出现各类数据问题，例如数据目录不够标准，多源数据未能融合，数据质量无法保证，数据安全机制不全等等。

发明内容

本发明的技术任务是提供一种基于政府数据的综合治理服务的方法。

本发明的技术任务是按以下方式实现的，该方法由“理”数据和“治”数据两部分实现，其中“理”数据为基础，“治”数据为手段；

“理”数据是对政府数据进行有序标准化的规划设计，对政府所掌握的数据资产的梳理；包括数据采集、数据梳理、数据标准、数据规划设计、数据管理五个模块；

“治”数据是通过工具化方式或者定制化服务，管理解决数据流转过程中每个环节产生的问题；包括数据整理、数据检测、数据质量、数据安全、数据分析、数据探索、数据展现、数据发布、创新应用以及数据评估十个模块。

所述的数据采集是对政府各级单位数据、政务服务网、政务信息资源目录平台以及公共服务企业进行采集；

所述的数据梳理是对政府部门业务进行分析，根据区域政府的各委办单位业务模型构建梳理信息资源目录；

所述的数据标准是梳理完善政府业务模型的数据资源目录后，建设基于政府业务的数据管理标准、数据技术标准与数据分级标准；

所述的数据规划设计包括业务产品规划设计和数据运营规划设计，业务产品规划设计包括大数据中心、数据开放平台、数据共享平台的产品规划；数据运营规划设计包括内容、流量、用户、产品的运营设计；

所述的数据管理是指对政府数据来源、数据编目、数据存储以及数据检索的综合控制过程。

所述的数据采集方式为：web service接口、数据交换、网络爬虫三种方式。

所述的梳理信息资源目录包括数据的开放共享目录，基础库资源目录和主题库资源目录。

所述的数据来源是指对多委办部门数据目录的把控；数据编目是指对多层级数据目录进行合理编码；数据存储是对数据仓库的设计与搭建，包括数据开放平台以及数据共享平台搭建；数据检索是对多类政府数据的全文检索能力。

所述的数据整理是对多源多类型数据的预处理过程，对非结构化数据的结构化管理，对原始数据的分析化管理；对原始数据中存在时间属性的提供定制化存储方式，对原始数据中存在地理空间属性的提供坐标化转换处理；

所述的数据检测包括数据质量检测和数据冲突检测；数据质量检测是按设定规则对数据质量的评估；数据冲突检测要求针对数据中的重复数据、不同数据集中的重复数据进行匹配和排除的操作，以避免数据差异和数据冲突的产生；

所述的数据质量是通过数据清洗与数据加工完成对数据质量的把控；数据质量是基于数据检测的结果对数据质量做的提升工作方法包括对空缺值处理、违规值处理、噪声值处理；数据加工要求在不改变数据内容和数据逻辑的前提下进行；数据加工主要功能是数据集成、数据转换、数据拆分合并；

所述的数据安全分为数据脱敏与数据溯源；数据脱敏又称数据漂白、数据去隐私化或数据变形，是指对某些敏感信息通过脱敏规则进行数据的变形，实现敏感隐私数据的可靠保护；数据溯源是对数据的来源进行记录，对数据采集、加工和装载过程中产生的元数据实时记录到数据库中，追溯单节点与相关节点的逻辑关系；

所述的数据分析是指运用多种统计方法对数据进行有目标的剖析并且进行数据解释的过程；

所述的数据探索通过数据关联、碰撞、比对的工具化手段完成在海量数据资源里挖掘数据之间的关联关系；