[发明专利]大规模社交网络社区的检测方法及装置

说明书

技术领域

本发明涉及网络技术领域，尤其涉及一种大规模社交网络社区的检测方法及装置。

背景技术

所谓方法论改变世界观，互联网高新技术的出现已经将人们传统意义上的空间网络社交关系推向以Internet（因特网）为基础的虚拟关系社交网络，像新闻组、BBS（Bulletin Board System，电子公告板）、Blog（Web Log，中文意思是“网络日志）、邮件网络等都是典型的即时通信系统。随着Web2.0技术的出现，社交网络的表现形式开始向多样化、交互式、开放性模式转变，这种灵活而主动的交互平台极大地丰富了人们参与Internet的方式，其强大的吸引力促使很多社交网络如Facebook、Twitter、LinkedIn、人人网、新浪微博等其规模迅速增长，呈现出空前大规模的综合信息数据网。全面的分析这些大规模社交网络数据，不仅可以为用户作个性化推荐服务、搜索其感兴趣的学术研讨区或者娱乐社交圈，而且可以为商户提取有价值的数据信息并指导创建高经济效益的商业网，甚至还可以通过挖掘潜在的安全隐患信息群为网络安全分析提供数据支持。

社交网络同属于复杂网络范畴，具有小世界、无标度幂律分布和社区结构特性，而社区发现正是利用社区结构这一特性从中观角度全面而有效地分析社交网络，其本质是聚类算法在社交网络上的建设性应用。从经典的K-L二分法、图二分法、k-means、分层聚类到G-N分割法、模块度聚类、谱聚类、统计学算法及其改良，以及一些其他领域技术学科概念如信息论、电导率、随机游走等引入使得社区发现算法的计算精度和执行效率都取得了很大进展。但是，基于上述社区发现算法分析大规模社交网络时又面临一个全新的挑战，即处理器物理内存容量的限制。算法都是基于主存的，而海量网络图数据却不能同时被一个处理器单元内存所接收，如果采用数据分块外存储的办法，其执行效率会因频繁的I/O交互占用大系统资源而增加算法的时间复杂度；而如果采取抽样近似或者并行化算法，其信息的不完整性或者分割、负载的不均衡性会导致社区发现效果骤然下降，甚至背离了社区结构存在的本然意义。

发明内容

本发明所要解决的技术问题是提供一种大规模社交网络社区的检测方法及装置，能够精准而高效地实现大规模社交网络的社区发现。

为解决上述技术问题，本发明提出了一种大规模社交网络社区的检测方法，包括：

步骤一，将输入的大规模社交网络建模成图G=(V,E)，其中，V为节点集合，E为边集合；图G上任一节点v表示大规模社交网络中的个人或组织，v∈V，度d(v)表示与节点v相邻的节点数目，集合N(v)表示与节点v相邻的节点集合，边e表示节点之间的特定属性关系，e∈E；

步骤二，通过并行排序算法将图G上的所有节点依节点度的大小关系作降序排列，并计算图G上所有节点的有效度之和DSum，其中，节点v的有效度是指其相邻节点集合N(v)中度大于d(v)的所有节点数目；

步骤三，以DSum/P为等分基准参考值，将图G上的所有节点按照节点度降序的轮转分配法则循环分配到MapReduce并行计算模型中P个Map任务上，即依负载均衡法将图G等分为P个子图，P为自然数；

步骤四，将所述P个子图通过所述MapReduce并行计算模型遍历寻找图G上的三角形，然后基于三角形拓扑结构对图G进行并行化多层粗化，获得最简粗化归约图G’；

步骤五，采用基于遗传学的社区发现算法，对所述最简粗化归约图G’做初始社区发现，生成社区发现结果，其中，对所述最简粗化归约图G’做初始社区发现是指将图G’上的节点依链接关系聚合生成一个个的簇，使得簇内节点联系紧密，簇间节点联系稀疏；

步骤六，将所述社区发现结果逐层反粗化还原到所述图G并伴随作微调优处理，从而获得图G的社区结构，也即所述输入大规模社交网络的社区结构。

进一步地，上述大规模社交网络社区的检测方法还可具有以下特点，所述步骤四中，基于三角形拓扑结构对图G进行并行化多层粗化，获得最简粗化归约图G’包括：

将所述P个子图通过MapReduce并行计算模型，在每个子图部分以节点度升序的方式遍历寻找该子图上的三角形拓扑结构，每当遇到一个三角形，将该三角形内部三个顶点向其中度最大的节点收缩融合形成一个复合节点，连边融合，而垂悬点向内点融合，直至整个图G遍历完成形成第一粗化归约图G₁，然后在第一粗化归约图G₁的基础上继续执行步骤三和步骤四进行下一层粗化归约，如此循环迭代直至最终生成的粗化归约图规模小于或等于预设的规模阈值，则终止粗化。