[发明专利]一种国际三极数据互操作引擎系统的构建方法及使用方法

权利要求书

1.一种国际三极数据互操作引擎系统的构建方法，其特征在于：所述构建方法包括如下步骤：

步骤一、实时自动爬取国际三极站点的国际三级数据，国际三级数据包括国际三极站点的原始数据以及国际三极站点的更新数据、新增数据；

步骤二、对步骤一所获取到的国际三级站点的国际三极数据进行存储与管理；

步骤三、设计国际三极数据的共享互操作标准，连接不同结构类型的国际三极数据；

步骤四、对国际三极数据进行互操作特征处理，构建国际三极数据互操作引擎系统。

2.根据权利要求1所述的国际三极数据互操作引擎系统的构建方法，其特征在于：步骤一中国际三极数据站点原始数据、更新数据、新增数据的自动发现与爬取过程为：

1)人工收集国际三极数据的站点集合，爬取国际三极数据站点原始数据；

2)国际三极站点更新数据的检测：通过python脚本对不同的国际站点定时提取其数据更新的特征，反馈检测的国际站点是否有数据发生更新；

3)国际三极站点新增数据的检测：通过python脚本对不同的国际数据站点定时提取其数据组织结构特征，反馈检测的国际站点是否有新增数据；

4)触发分布式爬虫去抓取数据和元数据：若步骤2)检测到国际站点中存在数据更新或步骤3)中检测到国际站点中存在新增数据，则触发分布式python脚本，完成对更新数据、新增数据以及元数据下载；其中，元数据是通过自动抽取转换获得的；

5)基于模型的数据质量检测和爬取：基于数据模型，对步骤1)和步骤4)中获得的全部数据进行质量检测；

7)国际三极数据python脚本的修正：针对国际三极数据的更新情况，及时修正python脚本。

3.根据权利要求1所述的国际三极数据互操作引擎系统的构建方法，其特征在于：步骤二中国际三极数据的存储与管理的过程为：

1)获取步骤一所得到的国际三极站点的国际三极数据；

2)国际三极数据的标准化处理：国际三极站点的国际三级数据不是标准统一的，针对不同的国际三极数据分别进行解析并完成标准统一工作；

3)国际三极数据的分类并存储：标准统一后的国际三极数据分类为元数据、原始数据、分析结果数据和统计数据四类，元数据采用GeoHash算法进行存储，原始数据主要采用对象-关系型数据库管理系统进行存储，分析结果数据、统计数据均采用对象-关系型数据库管理系统进行存储；

4)国际三极数据的备份：国际三极数据的备份包括数据实体备份和数据库备份，数据实体备份采用Hadoop分布式文件系统，数据库备份采用增量备份加完整备份的方式。

4.根据权利要求1所述的国际三极数据互操作引擎系统的构建方法，其特征在于：步骤三中国际三极数据共享互操作标准的设计过程为：

1)构建国际三极数据的本体库：通过定义国际三极数据本体描述的统一表达以及本体数据结构，形成面向国际三极数据领域的本体库；

2)定义互操作语义和模型：基于上述国际三极数据的本体库，将系统支持的国际互操作协议进行封装和转解码；

3)国际三极数据互操作接入；

4)国际三级数据备份。

5.根据权利要求1所述的国际三极数据互操作引擎系统，其特征在于：步骤四中所述国际三极数据的互操作特征处理过程为：

1)国际三极数据的预处理：对国际三极数据进行抽取转换加载操作，使其转换成计算机程序能够处理的格式；

2)对预处理后的国际三极数据进行互操作特征处理，包括数值型特征处理、文本类型特征处理、地图类数据特征处理；

3)构建国际三极数据互操作算法库：以spark计算引擎本身包含的MLlib分布式机器学习算法库为基础，将上述互操作特征处理后的国际三级数据构建为适用于三极数据分析的国际三极数据互操作引擎系统。