[发明专利]一种用于海洋时空数据的管理系统以及方法

说明书

本发明公开用于海洋时空数据的管理系统以及方法，包括客户端、图数据计算层和图数据存储层，客户端获取海洋时空数据，图数据计算层从海洋时空数据中提取实体和关系，构建知识图谱；图数据存储层包括多个键值存储引擎，每个键值存储引擎中存储多个数据分片，多个键值存储引擎之间通过Raft构建数据一致性，图数据存储层将知识图谱中不同节点之间的边分割成不同的数据分片并存储于键值存储引擎中。本发明便于构建复杂海洋时空数据关系图谱，能针对不同数据集语义自定义抽象规则，抽取实体、关系和属性，将结构化海洋时空数据转化为知识图谱，表征海洋数据内部联系；使用Raft保证分布式存储一致性，提供高性能高可靠的海洋数据存储服务。

技术领域

本发明涉及海洋时空数据管理技术领域，特别涉及一种用于海洋时空数据的管理系统以及方法。

背景技术

各种传感器和观测平台不断获取超大规模的海洋时空数据(随时间空间变化的三维海洋地理信息数据)，对海洋时空数据的管理和利用带来了巨大挑战。为实现对海洋时空数据的快速检索和高效查询，需要探索新的海洋时空数据表达形式和存储方法。

由于海洋时空数据来源多、规模大且结构极其复杂，现有的数据库管理方式在数据汇聚灵活性、存储扩展性、资源协同性方面都存在明显不足，限制了多源海洋时空数据的综合应用。同时，传统方法使用XML作为数据结构存储时空数据，缺乏对海洋时空数据的内在联系探索。

发明内容

本发明旨在至少解决现有技术中存在的技术问题。为此，本发明提出一种用于海洋时空数据的管理系统以及方法，能针对不同数据集语义自定义抽象规则，抽取实体、关系和属性，使用图数据库构建复杂海洋时空数据关系图谱，使用键值对存储信息，实现实体和关系的快速搜索，而且图数据存储层也支持多存储节点部署，并使用Raft实现图数据存储层的一致性。

本发明的第一方面，提供了一种用于海洋时空数据的管理系统，包括：

客户端，用于获取海洋时空数据；

图数据计算层，与所述客户端连接，所述图数据计算层用于根据自定义知识图谱规则从所述海洋时空数据中提取实体和关系，并以有向图存储所述实体、所述关系和属性，构建所述海洋时空数据的知识图谱；其中，所述有向图以节点表示所述实体和所述属性，以有向边表示所述关系；

图数据存储层，与所述图数据计算层连接，所述图数据存储层包括多个键值存储引擎，每个所述键值存储引擎中用于存储多个数据分片，所述多个键值存储引擎之间通过Raft构建数据一致性；所述图数据存储层用于根据边分割法将所述知识图谱中不同节点之间的边分割成不同的所述数据分片并存储于对应的所述键值存储引擎中，其中，将所述知识图谱中同一个节点的所有标签、出边信息和入边信息存储于同一个所述数据分片中。

根据本发明的实施例，至少具有如下技术效果：

1)为了对大规模的海洋时空数据进行高效检索和快速查询，本系统创新地使用了知识图谱表示海洋时空数据，能够针对不同数据集语义自定义抽象规则，抽取实体、关系和属性，将结构化海洋时空数据转化为知识图谱，表征海洋数据内部联系；

2)考虑到海洋时空数据实体与实体之间的复杂关系，为了支持实体关系的快速搜索，本系统利用图数据库的图数据存储层来保存知识图谱，图数据存储层使用键值对存储信息，实现实体和关系的快速搜索。相较于传统关系型数据库等形式，图数据库存储的灵活性更高、支持复杂的图形算法，便于构建复杂海洋时空数据关系图谱。本系统的图数据存储层支持多存储节点部署，并使用Raft实现图数据存储层的一致性，在部分存储节点故障系统依然能够正常运行，同时支持故障存储节点的自动修复；

3)本系统可定制为通用开源海洋时空数据转换、分析、存储平台，为面向海洋时空数据研究的客户和研究部门提供工具支撑。

根据本发明的一些实施例，所述客户端包括如下获取所述海洋时空数据的方式：