[发明专利]一种基于图数据库的分布式索引方法和系统有效
申请号: | 202010984750.2 | 申请日: | 2020-09-18 |
公开(公告)号: | CN112363979B | 公开(公告)日: | 2023-08-04 |
发明(设计)人: | 陈勃胜;陈恒 | 申请(专利权)人: | 杭州欧若数网科技有限公司 |
主分类号: | G06F16/13 | 分类号: | G06F16/13;G06F16/901 |
代理公司: | 杭州创智卓英知识产权代理事务所(普通合伙) 33324 | 代理人: | 张超 |
地址: | 311100 浙江省杭州市余杭区*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 数据库 分布式 索引 方法 系统 | ||
本申请涉及一种基于图数据库的分布式索引方法和系统,该方法包括获取到顶点或边的写入请求后,通过该顶点的标记ID生成该顶点的顶点索引,通过该边的边类型生成该边的边索引,其中,该顶点包括顶点ID和该标记ID,该边包括源点ID和该边类型;通过该顶点ID或该源点ID进行哈希运算,将该顶点或该边存入对应的图分区内,生成的该顶点索引或该边索引写入同一该图分区中,其中,在图数据库对应的图空间中包含多个该图分区,该顶点或该边写入该图分区后,保存在该图分区内,解决了对Nebula Graph的索引查询效率不高,查询产生的不必要的网络开销较高的问题,使用户可以快速地对Nebula Graph中的顶点和边进行查询。
技术领域
本申请涉及计算机领域,特别涉及一种基于图数据库的分布式索引方法和系统。
背景技术
随着零售、金融、电商、互联网、物联网等行业的兴起,基础数据量成几何状增长,为了将日益增长的庞大数据量组织成一个关系网,传统的关系数据库已经很难应对了;由此业界上出现了一批专门针对关系网数据存储、计算的数据库--图数据库;在海量关系数据中的检索效率是每个图数据库必须要面对的问题,图数据库索引的实现有效提高了数据检索效率。
在相关技术中,比较有代表性的图数据库是Nebula Graph、Neo4j和JanusGraph等,Nebula Graph为一个高性能图数据库,可以处理千亿节点万亿条边的海量图数据,同时解决了海量数据存储和分布式并行计算的问题;如今,对于Nebula Graph的索引效果不好,无法快速地对Nebula Graph中的顶点和边进行查询。
目前针对相关技术中,对Nebula Graph的索引查询效率不高,查询产生的不必要的网络开销较高的问题,尚未提出有效的解决方案。
发明内容
本申请涉及计算机领域,特别涉及一种基于图数据库的分布式索引方法和系统,以至少解决相关技术中对Nebula Graph的索引查询效率不高,查询产生的不必要的网络开销较高的问题。
第一方面,本申请实施例提供了一种基于图数据库的分布式索引方法,所述方法包括:获取到顶点或边的写入请求后,通过所述顶点的标记ID生成所述顶点的顶点索引,通过所述边的边类型生成所述边的边索引,其中,所述顶点包括顶点ID和所述标记ID,所述边包括源点ID和所述边类型;通过所述顶点ID或所述源点ID进行哈希运算,将所述顶点或所述边存入对应的图分区内,生成的所述顶点索引或所述边索引写入同一所述图分区中,其中,在图数据库对应的图空间中包含多个所述图分区,所述顶点或所述边写入所述图分区后,保存在所述图分区内。
在其中一些实施例中,生成所述顶点的顶点索引或生成所述边的边索引包括:所述顶点索引或所述边索引存入的所述图分区确定图分区ID;所述顶点索引在标记模型的基础上,由所述标记ID创建得到索引ID;所述边索引在边模型的基础上,由所述边类型创建得到索引ID,其中,所述顶点索引或所述边索引包括:所述图分区ID、数据类型、所述索引ID和属性。
在其中一些实施例中,所述顶点或所述边写入所述图分区后,所述方法包括:获取到API客户端发送的查询请求消息,调用元数据服务器验证所述请求有效性,通过存储客户端将所述查询请求消息发送到所有存储服务器中的图分区,根据所述查询请求消息对所述顶点索引或所述边索引并行索引扫描,其中,通过所述图分区ID和所述标记ID或通过所述图分区ID和所述边类型明确所述索引扫描的查询范围;获得所述存储服务器查询得到的结果集,汇总所述结果集返回给所述API客户端。
在其中一些实施例中,所述根据所述查询请求消息对所述顶点索引或所述边索引并行索引扫描包括:对所述顶点索引或所述边索引的并发索引扫描出错后,生成错误码,通过所述错误码定位到失败的所述图分区。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于杭州欧若数网科技有限公司,未经杭州欧若数网科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010984750.2/2.html,转载请声明来源钻瓜专利网。
- 上一篇:一种用于预测蛋白质功能的数据多标签分类方法
- 下一篇:一种低压电能计量装置