[发明专利]多模态异构数据整合系统及方法

说明书

技术领域

本发明涉及一种数据库信息的整合和利用方法，尤其是将具有不同数据结构的多种数据库的信息整合，提供统一平台进行利用的方法，属于数据融合、数据挖掘领域。

背景技术

近年来，随着信息化建设加速发展，数字城市工程、金盾工程以及城市管理职能部门各类业务信息系统资源愈来愈丰厚。然而，这些信息系统存在着运行环境分散，信息结构不统一，信息综合利用困难，信息共享程度不高等问题。因此，通过建立统一的数据标准，构建一个综合信息共享平台(综合数据库)，实现对多种模式及异构数据资源的汇集整合，从而促进各业务系统信息的共享和综合利用成为当前人们关注和亟待解决的一个热点问题。

通过建立多模态异构数据整合系统能够进一步深化数据资源利用率，需充分利用现有的网络、硬件以及数据环境，建立更高一级共享数据资源库，实现各业务部门对外共享数据及社会数据的汇总，参照国家标准建立数据标准化机制和统一的管理机制，在满足数据共享的安全性与可发展性基础上，为其他应用在今后提供标准化、高质量的数据支持。

发明内容

本的目的在于针对现行各个信息系统资源，通过建立统一的数据标准，构建一个综合信息共享平台(综合数据库)，实现对多种模式及异构数据资源的汇集整合，从而促进各业务系统信息的共享和综合利用。

为实现本发明的目的，本发明提供了一种多模态异构数据整合系统，其特征在于，包括原始数据库、数据抽取工具、共享数据库、数据共享平台、数据资源管理模块及数据应用模块，其中：

所述原始数据库包括分布在不同系统、部门的各种共享数据库，其由不同开发平台、不同开发商建设；

所述数据抽取工具，是根据原始数据库中的数据内容特征，按设定的格式，对原始数据库中的数据进行标准化转换、清洗、过滤、关联和标引，并将处理结果储存在共享数据库中的工具，实现共享数据的统一整合，为数据共享、数据分析提供数据基础；

所述共享数据库，负责储存数据抽取工具加工处理的数据结果；

所述数据共享平台，提供通过数据应用模块查询共享数据库及原始数据库的数据共享和查询通道；

所述数据资源管理模块，负责对共享数据库进行数据注册管理、数据标准检测、数据质量管理和数据运行监控；

所述数据应用模块，提供用户对共享数据库及原始数据库的查询界面，包括数据资源智能搜索、数据订阅、数据下载。

为实现本发明的目的，本发明还提供一种多模态异构数据整合方法，其特征在于：

(1)建立共享数据库：利用数据抽取工具，对分布在不同系统、部门的各种共享数据资源，进行标准化转换、清洗、过滤、关联和标引，并将处理结果储存在共享数据库中；

(2)数据资源管理：对共享数据库进行数据注册管理、数据标准检测、数据质量管理和数据运行监控；

(3)建立数据共享平台：提供通过数据应用模块查询共享数据库及原始数据库的数据共享和查询通道；

(4)提供数据应用平台：提供用户对共享数据库及原始数据库的查询界面，包括数据资源智能搜索、数据订阅、数据下载。

本发明通过对数据资源整合和数据资源管理的强化，将为信息化业务工作带来如下价值：

(1)降低了后续应用系统数据共享的难度和建设成本。当前各应用系统由多个开发平台、多家开发商建设，数据内容、结构、代码等存在较大差异，数据间的复用难度极大。建设统一共享数据资源库，实现统一共享数据资源的标准化转换，对外提供统一标准化服务接口，简化应用系统之间的信息共享与交互，节约了应用系统的建设成本。

(2)提高了数据的应用性和效率。数据资源共享通过共享数据资源库统一服务接口实现，避免直接访问业务系统生产库，降低了对业务系统性能的影响。同时，共享数据资源库的数据抽取与转换将根据业务系统的实际运行情况，制定相应用的数据更新维护方案，从而有效避免了业务应用系统的性能瓶颈，提高了数据的应用性能和效率。

(3)为跨部门、跨系统、跨地域的统计分析、领导决策等数据资源综合应用打下坚实的数据基础。统计分析、领导决策等综合应用系统的建设需要大量业务数据、历史数据的支持，通过建设共享数据资源库能够有效解决当前由于系统分散建设所造成的数据分散的问题，实现数据资源的集中存储与应用。

(4)能够提高数据共享安全性与可靠性。数据集中管理能够使管理员在统一平台上实现各业务共享数据对外服务的管理，实现对各外部接入权限的控制，并提供对各种接入的倒查审计功能，提高了数据资源对外共享的安全性。

附图说明