[发明专利]一种基于社区划分的在线社交网络海量数据存储方法

说明书

技术领域

本发明涉及一种数据存储方法，具体涉及一种基于社区划分的在线社交网络海量数据存储方法。

背景技术

以用户创造内容为主的Web2.0已经渗透到人们日常生活的方方面面，大量在线社交网站迅速兴起，国外的如Facebook、Twitter，国内的如微博、人人网等已经成为人们分享和获取信息的主要平台。人们通过社交网络互动交流，产生的数据和访问规模呈爆炸式增长，给数据的存储和管理带来严峻挑战。

目前网站的架构中基本采用传统的分布式存储方案，如哈希、一致性散列等技术。例如Twitter使用Gizzard，通过将特定范围的数据映射到特定的机器上来实现数据的划分，Facebook使用的Cassandra通过使用用户ID的hash值来划分数据，而Amazon使用的Dynamo通过一致性散列来划分数据。这些划分方案将用户数据随机地放置在集群的各服务器中，方法简单易行，然而这样的数据切分方式忽略了社交网络的社区结构性质，在系统运行期间会增加额外的通信代价，而且访问时延较大。

研究发现社交网络中人与人的好友关系图是具有社区结构特征的网络，即社区内部节点之间的边比较稠密，而社区之间的边比较稀疏，已有分析发现Facebook中的社区结构便是按照年级或宿舍划分的学生集体。社交网络中用户的交互对象大多是和自己在同一社区的好友，例如同一专业、同一公司等。用户基本的操作主要是发布信息和浏览信息，用户登录时，系统先查阅其关注的好友列表，然后把他们最近发布的信息显示在该用户的主页；用户发布信息时，系统先查阅其粉丝列表，然后将该信息更新到这些粉丝的主页。这样的业务流程不仅会涉及到用户本身的数据，还会涉及到用户的好友数据，浏览时还可能涉及到好友的好友这样的多跳关系。从网络结构角度来看，用户与少量几跳以内的好友联系会比较紧密，具有典型的社区性。如果社交网络中某个用户的同一社区内的好友散布在多台服务器上，那么查询和更新操作需要向多台服务器发送请求，对于具有海量用户的社交网络来说这样的通信代价太高。

发明内容

发明目的：为解决现有技术中存在的不足，本发明提供一种基于社区划分的在线社交网络海量数据存储方法。

技术方案：本发明的一种基于社区划分的在线社交网络海量数据存储方法，包括以下步骤：

（1）获取社交网络结构；

（2）将步骤（1）中所得的社交网络结构分为名人用户网络层和普通用户网络层；

（3）对步骤（2）中的每一层网络进行社区划分；

（4）按照社区大小进行数据存储；

（5）将名人用户进行多副本存储。

进一步的，所述步骤（1）中的获取社交网络结构的具体步骤如下：

（11）将社交网络中的用户抽象成网络中的节点，则用户之间的关注与被关注的好友关系抽象为有向边，即用户i关注用户j，表示有一条边从节点i指向节点j，定义A是这个网络的邻接矩阵，A_ij表示节点i指向节点j的边的权重，不同的应用场景中，权重代表的意义不同，可以根据实际情况设置权重的值，例如可以均设置为1；

（12）将上述有向网络转换成无向网络，调整两个节点之间的权重，若用户i与用户j互相关注，则A_ij为2；若两个用户互不关注，则A_ij为0；若两个用户中只存在单向的关注关系，则A_ij为1，最后设置A_ji=A_ij。

进一步的，所述步骤（2）中的具体步骤为：设定粉丝数量阈值为K，粉丝数量大于K的社交网络用户为名人用户，粉丝数量小于K的社交网络用户为普通用户，原网络便可以分为普通用户网络层和名人用户网络层，统称为G。

进一步的，采用模块度优化方法对步骤（2）中所得普通用户网络层和名人用户网络层分别进行社区划分，模块度值越高表明该划分越能体现网络的社区结构，那么社区划分就变成了一个模块度优化的问题，即从所有可能的划分中寻找一个划分，使得该划分具有最大的模块度；然而如果把单个节点作为计算单位，对于具有海量用户的社交网络来说计算量非常大。

本发明采用一种小集团结伴策略，先让局部区域范围内的节点结伴形成一个紧密的小集团，再将这些小集团作为网络新节点，称之为超节点，超节点构成的关系网络即一个超网，再对超网通过模块度优化的方法进行社区划分，具体方法如下：