[发明专利]一种国际三极数据互操作引擎系统的构建方法及使用方法

说明书

本发明公开了一种国际三极数据互操作引擎系统的构建方法及使用方法，构建方法包括如下步骤：实时自动获取国际三极站点的国际三级数据；国际三极数据进行存储与管理；设计国际三极数据的共享互操作标准，连接不同结构类型的国际三极数据；对国际三极数据进行互操作特征处理，构建国际三极数据互操作引擎系统。使用方法包括如下步骤：用户输入检索配置及关键字；后台启动执行查询的任务，并将后端得到的检索结果进行可视化操作；在后台执行查询检索的同时，后台记录用户检索条件；基于检索结果，过滤数据；根据用户需求，下载数据。本发明有效解决了地球三极地区的科学数据存在的数据分散、不成体系，数据众多、缺乏共享的问题。

技术领域

本发明涉及构建方法及使用方法，尤其涉及一种国际三极数据互操作引擎系统的构建方法及使用方法。

背景技术

南极、北极和青藏高原作为地球上的三极，不仅蕴藏着全球主要的淡水资源，且油气资源丰富，是全球资源、能源开发潜在的战略性储备区域，也对我国未来发展、国家利益和安全战略具有十分特殊的重要意义。

科学认知，数据为先；善治极地，数据为先。国际上一些研究机构，一直以来对三极的科学观测不遗余力，已经积累了大量的三极科学数据，并建立了相应的科学数据库，如GEOSS门户三极数据、CEOP AEGIS数据、SAON(北极可持续观测网络)北极数据委员会、IEEE南北极数据门户、INTAROS、CAS NASA冰川融化工具门户(GMELT)、日本极地中心、加拿大CCIN PDC极地数据编目中心、芬兰北极观测中心、PEEX数据库，及INTERACT数据库等。虽然三极地区科学数据日益呈现出大数据的特点，卫星和航空遥感、地面传感网、多圈层模型与同化数据空前丰富，然而，地球三极地区的科学数据仍存在数据分散、不成体系，数据众多、缺乏共享的问题。

此外，目前现有的数据管理技术一般跟存储的业务数据特点紧密相关，从管理的数据类型上专注于结构化数据、半结构化数据、非结构化数据或者是几种数据类型的组合，不具有通用性，数据互操作方案也不具有广泛的通用性，对原始数据的价值分析尚处于萌芽阶段，尚未形成一套完整的三极数据互操作引擎系统。

发明内容

为了解决上述技术所存在的不足之处，本发明提供了一种国际三极数据互操作引擎系统的构建方法及使用方法。

为了解决以上技术问题，本发明采用的技术方案是：一种国际三极数据互操作引擎系统的构建方法，包括如下步骤：

步骤一、实时自动爬取国际三极站点的国际三级数据，国际三级数据包括国际三极站点的原始数据以及国际三极站点的更新数据、新增数据；

步骤二、对步骤一所获取到的国际三级站点的国际三极数据进行存储与管理；

步骤三、设计国际三极数据的共享互操作标准，连接不同结构类型的国际三极数据；

步骤四、对国际三极数据进行互操作特征处理，构建国际三极数据互操作引擎系统。

进一步地，步骤一中国际三极数据站点原始数据、更新数据、新增数据的自动发现与爬取过程为：

1)人工收集国际三极数据的站点集合，爬取国际三极数据站点原始数据；

2)国际三极站点更新数据的检测：通过python脚本对不同的国际站点定时提取其数据更新的特征，反馈检测的国际站点是否有数据发生更新；

3)国际三极站点新增数据的检测：通过python脚本对不同的国际数据站点定时提取其数据组织结构特征，反馈检测的国际站点是否有新增数据；

4)触发分布式爬虫去抓取数据和元数据：若步骤2)检测到国际站点中存在数据更新或步骤3)中检测到国际站点中存在新增数据，则触发分布式python脚本，完成对更新数据、新增数据以及元数据下载；其中，元数据是通过自动抽取转换获得的；