[发明专利]一种支持超大规模关系网络的图数据库构建方法在审
申请号: | 201910763754.5 | 申请日: | 2019-08-19 |
公开(公告)号: | CN110633378A | 公开(公告)日: | 2019-12-31 |
发明(设计)人: | 吴敏;叶小萌;侯凤林;陈恒 | 申请(专利权)人: | 杭州欧若数网科技有限公司 |
主分类号: | G06F16/51 | 分类号: | G06F16/51;G06F16/583 |
代理公司: | 33290 杭州合谱慧知识产权代理事务所(特殊普通合伙) | 代理人: | 张刚 |
地址: | 310000 浙江省杭州市余杭区*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 图元素 存储 服务器 数据库 单个服务器 抗故障能力 数据库构建 关系网络 数据同步 水平扩展 协议保持 构建 建模 切割 复制 服务 | ||
1.一种支持超大规模关系网络的图数据库构建方法,其特征在于,包括:
对关系网络数据进行图元素获取,将图元素以key-value的方式进行建模,创建节点和边信息;
将图元素切割成多个不同的图元素存储分片,并分别存储至不同服务器;
将每个图元素存储分片复制多份并分别存储至不同服务器,通过Raft协议保持位于不同服务器内的同一图元素存储分片的数据同步;
将元数据以key-value的方式进行建模并储存至元数据存储分片,对所述元数据存储分片复制多份并分别存储至不同服务器,通过Raft协议保持位于不同服务器内的元数据存储分片的数据同步。
2.根据权利要求1所述的图数据库构建方法,其特征在于,所述步骤对关系网络数据进行图元素获取,将图元素以key-value的方式进行建模,分别创建点和边信息,具体包括:
将每条边信息以key-value方式分别建模成边输入键值组和边输出键值组;
根据预设存储分片数量对各节点和边信息进行设置,分配对应存储分片。
3.根据权利要求1-2任一所述的图数据库构建方法,其特征在于:所述步骤将图元素切割成多个不同的图元素存储分片,并分别存储至不同服务器,具体包括:
判断各节点的原始身份标识的数据类型是否跟设定类型相同,若不同则将其通过预设算法转换为设定类型后作为该节点身份标识,否则直接将所述节点的原始身份标识作为其节点身份标识;
将边输入键值组和该边起点的节点信息储存至同一图元素存储分片,将边输出键值组和该边终点的节点数据储存至另一图元素存储分片。
4.根据权利要求3所述的图数据库构建方法,其特征在于,所述步骤判断各节点的原始身份标识的数据类型是否跟设定类型相同,若不同则将其通过预设算法转换为设定类型后作为该节点身份标识,否则直接将所述节点的原始身份标识作为其节点身份标识,具体包括:
判断各节点的原始身份标识的数据类型是否为整型数据,若是则直接将该原始身份标识作为其节点身份标识;
如果原始身份标识的数据类型非整型数据,则将该原始身份标识通过哈希散列算法转变为整型数据后作为其节点身份标识。
5.根据权利要求4所述的图数据库构建方法,其特征在于:步骤将每个图元素存储分片复制多份并分别存储至不同服务器,通过Raft协议保持位于不同服务器内的同一图元素存储分片的数据同步,具体包括:
将多个图元素存储分片复制N份并分别存入N个不同服务器,其中N份图元素存储分片中包括一主分片和N-1个从分片;
将各图元素存储逻辑分片的主分片存储至不同服务器。
6.一种对图数据库进行访问的方法,所述图数据库通过权利要求1-6任一所述的图数据库构建方法进行构建,其特征在于:
接受客户端的查询语句,将查询语句通过词法解析和语法解析生成抽象语法树,并根据抽象语法树解析出执行计划和步骤;
根据执行计划创建出一个执行队列,并将各步骤作为执行单元依次放入该队列;
通过解析执行计划,获取部分需要访问的图元素存储分片,并交由存储客户端提取数据;
通过解析元数据管理命令,获取需访问的元数据存储分片,并交由元数据客户端提取;
存储客户端将图语义的操作转换为key-value语义,元数据客户端将图元数据语义的操作转换为key-value语义。
7.根据权利要求6所述的对图数据库进行访问的方法,其特征在于:所述步骤通过解析执行计划,获取部分需要访问的图元素存储分片,并交由存储客户端提取数据,具体包括:
如果一组图元素存储分片的主分片数据提取失败,对该组图元素存储分片的其余从分片进行数据比对,将其中拥有最新信息的从分片修改设置为该组图元素存储分片的主分片;
所述存储客户端向更换后的该组图元素存储分片的主分片提取数据。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于杭州欧若数网科技有限公司,未经杭州欧若数网科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910763754.5/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种图片清理方法和装置
- 下一篇:一种基于GPU并行运算的以图搜图系统及方法