[发明专利]一种面向大规模社交网络的图数据存储及查询方法有效
| 申请号: | 201510229346.3 | 申请日: | 2015-05-07 |
| 公开(公告)号: | CN104899156B | 公开(公告)日: | 2017-11-14 |
| 发明(设计)人: | 周薇;包秀国;马宏远;程工;冉攀峰;刘春阳;王卿;韩冀中;庞琳;李雄;贺敏;刘玮 | 申请(专利权)人: | 中国科学院信息工程研究所;国家计算机网络与信息安全管理中心 |
| 主分类号: | G06F12/06 | 分类号: | G06F12/06 |
| 代理公司: | 北京君尚知识产权代理事务所(普通合伙)11200 | 代理人: | 司立彬 |
| 地址: | 100093 *** | 国省代码: | 北京;11 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 一种 面向 大规模 社交 网络 数据 存储 查询 方法 | ||
1.一种面向大规模社交网络的图数据存储方法,其步骤为:
1)数据存储管理器对收到的图数据采用Key-Value方式存储,其中以图数据的顶点ID为Key,以顶点邻域为Value;
2)对每一顶点邻域的数据存储:将与该顶点邻域对应顶点相连的多条边以时间戳有序存储到固定大小的内存块Block中,并使用链表结构将所占用的内存块Block构成Block双向链表,将该顶点的属性信息和指向该Block双向链表头部和尾部的索引信息存储到一数据结构Vertex中;其中,数据结构Vertex为包含顶点的属性信息和指向Block双向链表头部和尾部的索引信息的数据结构。
2.如权利要求1所述的方法,其特征在于,所述内存块Block由一负责存储资源分配的Block池管理器进行分配与回收;所述Block双向链表中的内存块Block包括三部分:第一部分为指向Block双向链表中当前内存块Block的前一个内存块Block的指针,第二部分为指向Block双向链表中当前内存块Block的后一个Block的指针,第三部分为当前内存块Block存储的边。
3.如权利要求2所述的方法,其特征在于,所述步骤2)中,当一顶点有新边需要存储到顶点邻域时,将该新边按时间戳排序,查看Block双向链表头部的Block是否未满,如果未满,则将该新边追加在该Block的头部;如果头部的Block已满,则由Block池管理器分配一新的内存块Block并添加到该Block双向链表的头部,然后将该新边存储到该新的内存块Block中。
4.如权利要求1或2或3所述的方法,其特征在于,每一所述内存块Block中设有一数据域,用于保存所存边的时间戳区间;当对顶点领域中的边进行删除时,从Block双向链表尾部的内存块Block开始选取一边,如果该边的时间戳小于尾部内存块Block的时间戳区间下界,则结束删除操作,如果该边的时间戳大于该时间戳区间的上界,则从该Block双向链表末尾移除该内存块Block;如果该边的时间戳位于该时间戳区间内,则扫描该内存块Block中的边,删除比该边的时间戳早的边。
5.如权利要求1所述的方法,其特征在于,所述数据存储管理器将存储资源分成两类:粗粒度存储资源和细粒度存储资源,所述数据存储管理器的内存中设置有界缓存窗口;其中所述粗粒度存储资源用于存储设定的大文件,并常驻于内存,所述细粒度存储资源用于存储按需分配的小文件;所述数据存储管理器按需将细粒度存储资源载入该有界缓存窗口,当该有界缓存窗口被占满,需要加载新的细粒度存储资源时,采用缓存替换算法将该有界缓存窗口中已有的细粒度存储资源换出,然后载入新的细粒度存储资源。
6.如权利要求5所述的方法,其特征在于,所述粗粒度存储资源和所述细粒度存储资源均划 分成固定大小的所述内存块Block,每一内存块Block拥有唯一的Block ID。
7.如权利要求5所述的方法,其特征在于,所述数据存储管理器首先分配粗粒度存储资源的内存块Block,当粗粒度存储资源耗尽时,开始按需地动态地分配细粒度存储资源的内存块Block。
8.如权利要求5所述的方法,其特征在于,所述数据存储管理器定期地扫描图数据,将过期的图数据从所述粗粒度存储资源中删除并转存到所述细粒度存储资源中。
9.一种基于权利要求1所述方法存储的图数据的图数据查询方法,其特征在于,当数据存储管理器收到访问顶点v的访问请求时,数据存储管理器将该顶点v及其k阶邻域传输给请求者;请求者将返回数据缓存在本地,下次查询时,首先检查本地的缓存,如果不存在查询的顶点,则将访问请求发送给所述数据存储管理器。
10.如权利要求9所述的方法,其特征在于,所述顶点v的k阶邻域为从该顶点v出发经过最短距离k条边可达的全部顶点构成的集合。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国科学院信息工程研究所;国家计算机网络与信息安全管理中心,未经中国科学院信息工程研究所;国家计算机网络与信息安全管理中心许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201510229346.3/1.html,转载请声明来源钻瓜专利网。
- 上一篇:立式机械原理考试装置
- 下一篇:一种交互式英语学习小组协作讨论教学平台





