[发明专利]一种基于Spark平台的多目标进化社区检测方法

说明书

本发明公开了一种基于Spark平台的多目标进化社区检测方法，主要用于解决传统多目标进化算法在大规模网络社区检测上的缺陷。其包括如下步骤：1)读入待社区划分的网络邻接表，并初始化种群；2)每个节点收集由该节点参与构成的三角结构信息；3)计算种群每个个体的目标函数值，复制初始种群中的个体到个体当前个体的最好社区划分记录；4)通过交叉变异产生新个体，并计算新个体的目标函数值；5)通过基于边界交叉方式的分解策略来选择新一代种群，更新当前个体的最好社区划分记录；6)如果迭代次数到达最高上线，跳到步骤7)，否则跳转到步骤4)；7)输出多目标进化的社区发现结果。

【技术领域】

本发明属于网络信息挖掘中的网络社区检测领域，具体是一种基于Spark平台的多目标进化社区检测方法，涉及分布式大数据处理，可用于发现大规模网络中的组织结构。

【背景技术】

随着信息技术的发展，智能手机和智能家居等已经深入人们的生活。它们在给人们提供便利时，也产生了规模不断变大，结构越来越复杂的物连网络和现代社交网络。例如人们在淘宝购买的物品可以串联起每一个购买过它的人，从而组成一个购物习惯的购物网络，这样的网络无疑是巨大而复杂的。但是从这样的具有现实意义的大规模网络中挖掘信息是很有意义的，比如在你购买物品时帮你推荐商品。社区检测是网络挖掘的一种信息获取方式，它可以帮助我们了解网络的组织结构，划分用户的喜好圈子定向的投放广告。

多目标进化算法在处理网络社区检测问题时，种群中的每个个体对应一种社区划分，目标函数分为社区间联系紧度函数和社区内联系紧密函数。种群在进化时尽量寻找社区间联系紧度函数值小而社区内联系紧密度函数值高的社区划分，最后会得到多个非支配的社区划分，这样的划分通常代表了不同层次的社区结构。但是多目标进化算法具有不可回避的缺陷，空间复杂度和时间复杂度较高，与种群大小和网络规模成正比。如果一个网络有1万节点，而进化算法种群规模是100，则需要大约3.8G的内存资源。

针对大规模复杂网络的社区检测，对算法设计以及计算设备提出了更高的要求。原有的一些算法占用太多计算资源，受到处理器核数及主频、内存大小等限制，处理大规模复杂网络时往往力不从心，或者处理速度太慢不符合人们对社区检测效率的要求。而分布式系统，可以利用计算机间的通信机制协同处理数据，从而能打破这些计算资源对算法的限制。

为了处理实时的大规模数据流，当前互联网企业大多搭建了自己的分布式处理平台，流行的分布式处理平台有Hadoop和Spark等。Spark分布式平台是在Hadoop基础上发展而来，与Hadoop不同的是，Spark基于内存计算，数据模型更加抽象，不仅提高了迭代效率，而且易于设计迭代算法。另外Spark有自己的图模型库，可以很方便的处理网络问题。

【发明内容】

本发明的目的在于克服上述现有技术的缺点，提供一种基于Spark平台的多目标进化社区检测方法，目的在于使多目标进化社区检测算法可以有效处理大规模复杂网络的问题。

为达到上述目的，本发明采用以下技术方案予以实现：

一种基于Spark平台的多目标进化社区检测方法，包括以下步骤：

步骤1：读入待社区划分的网络邻接表，并初始化种群，利用节点数据集count函数，求出网络节点总数记为|V|；

步骤2：每个节点收集由该节点参与构成的三角结构信息，以及该节点的度；

步骤3：计算种群每个个体的目标函数值，复制初始种群中的个体到个体当前个体的最好社区划分记录，记为Pbest，并记迭代次数i＝0；

步骤4：通过交叉变异产生新个体，并计算新个体的目标函数值；

步骤5：通过基于边界交叉方式的分解策略来选择新一代种群，更新当前个体的最好社区划分记录；

步骤6：如果迭代次数i<iMax，则i＝i+1，并跳转到步骤4，否则跳转到步骤7；