[发明专利]基于图像识别技术的异常人物关系网络挖掘方法

说明书

本发明公开一种基于图像识别技术的异常人物关系网络挖掘方法，结合人脸识别技术构建人物关系网络并进行异常子图检测，包括以下步骤：1)首先输入多张图片(需要输入的图片是围绕关键人物与其他人的合照；2)对于输入的多张图片，使用人脸识别dlib深度学习算法实现人脸聚类；3)根据聚类结果，构建社交关系网络，其中节点为关系，节点权重为关系的程度，边为人；4)由步骤3)得到的关系网络，使用NPHGS非参数图统计方法对其进行异常检测；5)有步骤4)找出关键人物及关键人物的异常关系。

技术领域

本发明属于计算机软件技术领域，具体讲，它结合的计算机视觉领域上的人脸识别，从图像中，抽取人物关系构建关系网络并进行异常挖掘，涉及一种基于图像识别技术的异常人物关系网络挖掘方法。

背景技术

针对人物关系网络的研究，通常是以人物作为研究的节点，通过匹配规则来推断人物节点是否存在边的连接，进而构建人物关系网络。近年来，一些研究者根据图像或者视频内容来提取人物之间的社交关系，典型的图像或视频人物关系网络构建方法流程大致为：首先检测图像集中的人脸图像，然后利用人脸图像的特征进行人脸聚类，得到人脸节点集合，分析上下文关系，建立相应的人物关系网络，但是鲜少有工作对人物关系网络进行更加深入的研究，尤其是异常的挖掘。

社交媒体中的事件检测是一个重要但具有挑战性的问题。现有的大多数方法都基于突发检测，主题建模或聚类技术，无法自然地对隐式异构网络建模社交媒体的结构。ChenF等人(Chen F,Neill D B.Non-parametric scan statistics for event detection andforecasting in heterogeneous social media graphs[M].2014.)指出非参数异构图形扫描(NPHGS)，一种考虑整个异构网络进行事件检测的新方法：首先将网络建模为一个“传感器”网络，其中每个节点感知其“邻域”环境“，并报告一个经验值，测量其当前水平的异常在每个时间间隔。然后，我们有效地最大化了非参数扫描统计量连接子图来识别最异常的网络聚类。最后，用诸如事件类型、地理位置、时间等信息对每个集群所代表的事件进行总结。

本发明将人物关系网络和图中的异常子图检测问题结合起来，具体是针对图像数据的构建关系网络，关系网络的特点是以关系作为节点，人作为边，关系的程度表示节点的权重。相比于异常人物的检测我们更加看重对异常关系的检测，最后对关系网络进行异常检测，找出关键人物和异常的关系。

发明内容

为克服现有技术的不足，提供一种从图像中查找社交关系网络异常点的方法。为了达到上述目的，本发明采取的技术方案是基于图像识别技术的异常人物关系网络挖掘方法，结合人脸识别技术构建人物关系网络并进行异常子图检测，包括以下步骤：

1)首先输入多张图片(需要输入的图片是围绕关键人物与其他人的合照)；

2)对于输入的多张图片，使用人脸识别dlib深度学习算法实现人脸聚类；

3)根据聚类结果，构建社交关系网络，其中节点为关系，节点权重为关系的程度，边为人；

4)由步骤3)得到的关系网络，使用NPHGS非参数图统计方法对其进行异常检测；

5)有步骤4)找出关键人物及关键人物的异常关系。

具体包括以下步骤：

(2-1)前期准备：从http://dlib.net/files/下载获得人脸关键点检测器文件1.dat,人脸识别模型文件2.dat；模型数据文件是用来估计人脸上68个特征点(x,y)的坐标位置。

(2-2)将68个特征点映射到128维的空间中，计算彼此之间的欧式距离。若是同一张脸则更加接近，反之距离更远。

二维欧式距离：