[发明专利]基于最小依赖的细粒度科研数据融合系统

说明书

技术领域

本发明涉及的是信息技术领域的系统，具体的说是基于最小依赖的细粒度科研数据融合系统，用于有目标地收集Internet上科学研究方面的数据。

背景技术

信息融合系统是对多源异构数据提供统一的存储、查询和管理的系统。由于数据在不同的数据源中有不同的表示方式，所以需要针对各个数据源设定特定的数据获取方法，并对这些数据加以整合，形成具有实用意义的数据。

当前，数据融合的数据来源是由数据融合系统方主动查找，并且在找到的数据源模式和融合系统的目标模式之间建立映射关系。这种方式具有很大的被动性，容易忽略一些较小的、零散的、未被广泛知晓的数据源，例如科研课题发布信息。同时，当前使用的数据映射方法需要较为专业的知识，这在某种程度上也就造成了普通的数据源提供者加入数据融合系统、为数据融合系统提供数据的难度。

因此，为了从根本上解决多源异构数据融合系统的灵活性、可扩展性和简单易用性，需要研发一个开放的，使数据源所有者可以主动参与的，并且能够为广大使用者提供服务的新数据融合系统。

经对现有技术文献的检索发现，中国专利申请号 200710042896.X，发明名称：基于海量交通信息的融合系统，公开号：CN101075227，该专利的数据融合系统中，主要考虑到若干个集中的数据源，提供专业应用人员使用；其并没有考虑到当数据源是一些较小，较零散，且数据源来源多样的情况。

发明内容

本发明的目的在于克服现有技术和系统的不足，提供基于最小依赖的细粒度科研数据融合系统，保证系统的开放性，增强数据源所有者参与的主动性，降低数据源参与者的技术难度。本发明采用基于路径的数据导航技术，使其能够在网络环境下为不同信息来源提供一种灵活，高效的数据融合系统，解决当前信息集成系统不能对非结构化数据进行细粒度分析和提取的问题；同时采用开放式结构，可视化的基础数据表映射技术，使所有潜在的数据提供者都可以加入该数据融合系统，为系统提供数据的支持。同时对信息融合系统进行模块化构造，以解决数据融合系统重复开发，共享性差等问题，推动数据融合的应用和发展。

本发明采用以下方案实现：一种基于最小依赖的细粒度科研数据融合系统，其特征在于：包括数据采集服务器、信息融合服务器、映射及依赖管理服务器、系统交互管理服务器以及数据发布服务器；其中系统交互管理服务器和信息融合服务器之间以及系统交互管理服务器和映射及依赖管理服务器之间分别通过网络连接；信息融合服务器分别与映射及依赖管理服务器、数据采集服务器、数据发布服务器、系统交互服务器连接；所述数据采集服务器是能够以指定方式访问网络上的数据库、HTML、XML数据，并获取相应信息的计算机；所述映射及依赖管理服务器是专门用于存储和管理数据源、系统最小依赖集和数据源模式到该融合系统基础数据模式映射关系的计算机；所述信息融合服务器是从映射及依赖管理服务器获取数据源信息，调度数据采集服务器，获取数据采集服务器返回结果，并进行数据融合处理的计算机；所述系统交互管理服务器是为管理用户和数据源用户提供数据融合系统可视化操作界面的计算机；所述数据发布服务器是指专门用于接受数据用户请求，并把结果反馈给数据用户的计算机。

本发明系统具有良好的扩展性和简单易用性。本发明系统采用分布式系统架构，各个服务器遵循既定的通信接口，系统的各个组成部分可以放置于同一台服务器，也可以是分布式环境下多台服务器，使系统可以适应不同规模的应用。系统中各类服务器可以进行增加、扩展，使系统能够适应更大的吞吐量。整个系统通过系统交互管理服务器提供统一的用户注册、维护数据源维护、管理用户管理整个系统的门户；数据发布服务器提供统一的数据用户数据请求调用接口和可视化Web页面，方便数据用户使用。

本发明系统具有良好的开放性，使数据源用户可以主动参与数据融合系统的建设。现有数据集成系统通常是有目标的获取数据源，并有系统管理用户建立两者之间数据的映射关系。而本发明系统则是通过基础数据模式，由数据源用户在系统上注册自身数据源，并且建立数据源和系统基础数据模式之间的映射关系。这种做法使系统能够集中成千上万具有少量数据的用户为整个系统的服务，从而达到数据数据源的多样性。

本发明系统具有良好的灵活性，可以使数据用户根据自身的需要从数据融合系统基础数据模式的基础上重组得到自身要求格式。本发明系统所采集数据都是以基础数据表加以存储的，用户可以从这些小的存储表中进行选择、投影、连接操作，从而得到满足自身需要的数据格式。