[发明专利]一种基于图-KV的混合存储方法及装置

说明书

本发明涉及数据处理领域，提供了一种基于图‑KV的混合存储方法及装置，包括VLOG、图结构数据存储和索引存储；所述VLOG用于存储value，其中，所述value为非图结构数据，所述value插入于所述VLOG后生成偏移量，所述偏移量与所述value对应的key作为非图结构数据的索引信息；所述图结构数据存储仅用于存储边和顶点的图结构数据，所述顶点和边分别包含唯一一个ID编号，所述顶点和边的ID编号与所述顶点和边的非图结构数据插入到VLOG中的value对应的key一一对应，所述ID编号与所述value对应的key作为图结构数据的索引信息；所述索引存储用于存储索引信息，本发明将图对象的图结构数据与非图结构数据分开存储，用户可以根据需求快速从VLOG中获取非图结构数据或从图结构数据存储中获取图结构数据。

【技术领域】

本发明涉及数据处理领域，具体涉及一种基于图-KV的混合存储方法及装置。

【背景技术】

存储引擎是数据库中底层的组件，也是数据库中最重要的一个模块。随着时代的发展，越来越多的数据源源不断地产生，信息的生产和存储规模变得越来越大，传统关系型数据库在大数据方面的表现并不够好，例如关系型数据库在查找人与人之间的关联关系时，往往需要联合多表查询，特别是在度数更高的时候，查询速度更是非常缓慢，甚至超时。

大数据时代到来，各种非关系型数据库(NoSQL)应运而生，NoSQL(Not only SQL)泛指非关系型数据库。随着Web 2.0网站的兴起、5G物联网的接入、大数据挖掘和分析需求的增长、社交网络的发展等，诸多应用场景暴露了传统数据库很多难以克服的问题，而非关系型数据库则由于其自身的特点得到了非常迅速的发展。NoSQL数据库的产生就是为了解决大规模数据集合多重数据种类带来的挑战，尤其是大数据应用难题。

关系型数据库的缺点：

1.关系数据库无法满足对海量数据的高效率存储和访问的需求。

2.关系数据库无法满足对数据库的高可扩展性和高可用性的需求。

3.关系数据库无法存储和处理半结构化/非结构化数据。

4.关系数据库复杂的事务机制效率太低。

关系型数据库中的表需要存储格式化的数据结构，每个元组字段的组成都一样，即使不是每个元组都需要所有的字段，但数据库会为每个元组分配所有的字段，时间和空间的开销大。这样的结构可以便于表与表之间进行连接等操作。但从另一个角度来说，它也是关系型数据库性能瓶颈的一个因素。

NoSQL的优势：

1.灵活的可扩展性。

2.大数据量和高性能。

3.灵活的数据模型。

目前，已经有多种图数据的存取方法被提出。专利CN201911388011.0中的存储原理是：结合传统关系数据库和图数据库，利用传统关系型数据库的底层行记录结构，在行记录结构上进行扩展，内嵌了对于图结构的描述。在顶点的记录上内嵌了对该顶点关系的描述，而在关系的行记录上，内嵌了对起止顶点的描述。但该发明适合存储结构化的图数据，对于非结构化或半结构化的图数据支持并不友好。

鉴于此，克服该现有技术所存在的缺陷是本技术领域亟待解决的问题。

【发明内容】

本发明要解决的技术问题是：

现有技术是将图对象中的图结构数据和非图结构数据(即图结构数据中顶点和边的属性信息等)均以KV的形式放在一起进行存储，但是实际场景中的有些情况，只需要获取图结构数据，那么在获取图结构数据的时候会将图结构数据和非图结构数据均查询出来，这将极大占用内存，同时降低查询的效率。

本发明通过如下技术方案达到上述目的：