[发明专利]基于SOA的网格异构数据集成方法

说明书

技术领域

本发明涉及计算机领域，尤其涉及一种数据集成方法。

背景技术

随着信息化的普及、分布式计算技术、数据库技术和网格计算的广泛应 用，各种数据存在异构集成和接入访问困难的问题日趋严重。各类信息管理 系统的数据，包括关系数据库、扩展标记语言(XML)文档、Web页面等， 由于数据库的异构性、数据模型及存储方式的差异，不同的数据库之间的数 据共享比较困难，形成了一个个的信息孤岛，资源管理及互操作性困难，这 就使异构数据集成成为数据库应用领域的一个有待解决的关键技术问题。

从数据集成的发展过程看，先后出现的体系结构主要有三种，即多数据 库系统、中间件、面向服务的体系结构。

多数据库系统是一种能够接受和容纳多个异构数据库的系统，能够提供 统一的多数据库操作语言和公共接口(如ODBC，JDBC)以访问成员数据库， 对外能够呈现一种集成结构，而对内又允许各个异构数据库的“自治性”。在多 个异构数据库集成时，能够通过映射各异构的局部数据库的概念模式而得到 全局统一的概念模式。但是用户必须指明所要访问的数据库，数据间的完整 性和一致性必须由用户和应用程序定义和维护。这种方式没有解决透明存取 问题，适合于集成少量数据。

基于中间件的异构数据集成方法，是一种性价比较高的解决方案。在不 影响原有系统的基础上，构建中间层的数据集成组件，有效地实现现有系统 的快速集成。通过使用中间件技术(Microsoft的DCOM，OMG的CORBA 和Sun的RMI等)，可以在数据库系统和应用系统之间构建中间层，对数据 库的操作都通过中间层来进行，为应用层提供完全一致的接口。它位于异构 数据源系统和应用程序之间，向下协调各数据源系统，向上为访问集成数据 的应用提供统一数据模式和数据访问的通用接口，为异构数据源提供一个高 层次检索服务，避免了系统开发代价大，代码难以重用的问题，但它不能有 效地解决跨网络通信，紧耦合特性使之难以适应数据源的动态变化。

基于面向服务体系结构实现异构数据集成方法主要有两种，第一种基于 面向服务架构(service-oriented architecture，SOA)的Web Service技术可直 接将各种应用程序、服务和设备链接起来，实现在不同平台之间以一致的方 式交换和描述数据，为实现信息共享、互操作和集成提供了新的解决方案。 并且支持动态数据集成和组合异构环境中的服务，可使用大量工具和现有服 务，降低了信息集成的复杂性。第二种基于网格技术实现异构数据集成。在 中国专利(专利申请号200710176557)中公开网格环境下模式复用的异构数 据库访问和集成方法，它不仅能更加灵活地适应数据源动态变化，而且为数 据集成中的大量数据传输提供了可靠的文件传输服务，为资源使用者提供了 访问数据库的全局访问接口，能够从数据库注册到使用的全部过程。但其在 基于服务导向架构下虚拟数据库服务效率不高，对非数据库资源集成有待提 高。

发明内容

本发明所要解决的技术问题是：针对服务架构的异构数据集成技术中存 在虚拟数据库服务效率不高、非数据库资源集成度不够和多数据库集成技术 在海量异构数据领域中不能适应数据源的灵活动态变化的情况下，设计出一 种基于SOA的网格异构数据集成方法，利用网格环境的高效处理能力可以实 现海量数据和已有的众多的数据库资源的有效集成，有效利用资源，为网格 环境内实现数据库资源的高效管理、大数据的分析处理提供强有力的支持。

本发明解决上述技术问题的方案是：以异构数据集成为切入点提出了基 于SOA的网格异构数据集成框架，将网格异构数据集成框架分为网格数据服 务层、网格数据集成层和网格数据显示层三层，该框架充分利用了SOA的灵 活性，能够更快地响应数据需求，使得用户能够快速应对变化并有效地做出 响应。而且，各个子模块松耦合的设计使得系统具有良好的灵活性。

最底层是网格数据服务层，负责实现数据集成模块请求的网格数据服务 以及数据源的具体连接等。并且所有的网格数据服务在初始化时就设定生命 周期和信息安全机制。以保证良好的执行性能和响应能力，所以能够解决已 有集成技术在海量异构数据领域中不能适应数据源的灵活动态变化问题。