[发明专利]一种基于统一数据资源池的数据治理系统

说明书

本发明公开了一种基于统一数据资源池的数据治理系统，包括：数据接入模块，其用于将数据源的数据资源实现完整接入；数据处理模块，其用于对数据资源进行提取、清洗、转换的标准化处理；数据管控模块，其用于对数据资源进行数据标准管理、元数据管理、资源目录管理的全生命周期管理；数据资源池模块，其用于对数据资源进行分级分类管理；数据服务模块，其用于对数据资源进行服务化封装，提供数据资源服务；数据共享交换模块，其用于对数据资源进行跨业务、跨应用、跨部门的信息共享。本发明公开的数据治理系统，在统一信息资源规划下，将数据资源汇聚、治理，形成统一的数据资源池，对各类数据共享服务需求提供统一的数据目录服务。

技术领域

本发明属于数据处理系统领域，尤其涉及一种基于统一数据资源池的数据治理系统。

背景技术

突发事件的发生通常难于预测且破坏性较大，对人类社会造成的危害往往是触目惊心的，这其中既有地震、火山爆发、泥石流、海啸、台风、洪水等突发性自然灾害，也有污染物泄漏、水体污染、±壤污染等人类活动导致的突发性事故灾难，而涉及公共安全和公共卫生的突发事件也占到了相当大的比重。因此，应急业务具有多元性和全面性的特点。

面对多源异构的数据资源，需要数据资源的汇聚、治理，形成统一的数据资源池，对内部业务系统和对外部各级政务部门的各类数据共享服务需求提供统一的数据目录服务。

发明内容

本发明的目的在于：将多源异构的数据资源完整接入，形成统一的数据资源池，对各类数据共享服务需求提供统一的数据目录服务。

为了实现上述目的，本发明采用了如下技术方案：一种基于统一数据资源池的数据治理系统，包括：

数据接入模块，其用于将数据源的数据资源实现完整接入；

数据处理模块，其用于对数据资源进行提取、清洗、转换的标准化处理；

数据管控模块，其用于对数据资源进行数据标准管理、元数据管理、资源目录管理的全生命周期管理；

数据资源池模块，其用于对数据资源进行分级分类管理；

数据服务模块，其用于对数据资源进行服务化封装，提供数据资源服务；

数据共享交换模块，其用于对数据资源进行跨业务、跨应用、跨部门的信息共享。

作为上述技术方案的进一步描述：

数据源包括外部关联部门数据、应急管理局内部业务部门及转录部门数据、社会互联网公开数据、感知数据。

作为上述技术方案的进一步描述：

数据源的接入方式包括数据库接入方式、文件接入方式、接口调用方式和数据交换方式。

作为上述技术方案的进一步描述：

数据接入模块包括数据探查子模块、数据读取子模块和数据对账子模块。

作为上述技术方案的进一步描述：

数据探查子模块用于对来源数据进行业务探查、接入方式探查、字段探查、数据集探查、问题数据探查以及数据推送。

作为上述技术方案的进一步描述：

数据读取子模块用于检测从源系统抽取的数据或从指定位置读取的数据是否与数据定义一致。不一致的停止接入，并重新进行数据的探查和定义；一致的执行进一步接入，对数据进行解密、解压操作，生成作用于数据全生命周期的记录ID，并对数据进行字符集转换，将数据转成符合数据处理要求的格式。

作为上述技术方案的进一步描述：