[发明专利]人员关系分析方法、装置、电子设备及存储介质

说明书

本申请提供一种人员关系分析方法、装置、电子设备及存储介质。基于Spark计算引擎，获取待分析的数据集，该待分析的数据集包含多个待分析人员的出行数据；调用所述Spark计算引擎对该待分析的数据集进行计算，获得所述多个待分析人员之间的人际关系数据。如此，实现根据多个人员的出行数据分析挖掘出多个人员之间的隐性关系。

技术领域

本申请涉及数据处理领域，具体而言，涉及一种人员关系分析方法、装置、电子设备及存储介质。

背景技术

随着大数据技术的发展，知识图谱广泛应用于各个行业中，而图谱的构建则成为各企业应用知识图谱的关键环节。

图谱的构建通常以实体与实体之间的关系或者实体的行为事件为主体。目前，对于图谱关系的提取，大多数都是通过数据清洗融合，从数据源中抽取显性关系，如父子关系、人车关系等等。但显性关系往往并不能满足行业方面的业务需求，在很多的业务场景中，需要在海量数据中构建图谱的隐性关系，如同住同行关系等。

发明内容

为了克服现有技术中的至少一个不足，本申请实施例的目的之一在于提供一种人员关系分析方法，应用于配置有Spark计算引擎的分布式计算系统，所述方法包括：

获取待分析的数据集，所述待分析的数据集包含多个待分析人员的出行数据；

调用所述Spark计算引擎对所述待分析的数据集进行计算，获得所述多个待分析人员之间的人际关系数据。

可选地，所述分布式计算系统包括主计算节点和多个从计算节点；所述调用所述Spark计算引擎对所述待分析的数据集进行计算，获得所述多个待分析人员之间的人际关系数据的步骤，包括：

针对每个从计算节点，对获取到的子数据集进行Map运算，获得对应的第一键值对数据，所述子数据集经由所述待分析的数据集分割获得；

将所述第一键值对数据进行分组获得第二键值对数据，使得相同键值的第一键值对数据归为一类；

将所述第二键值对数据发送给所述主计算节点；

所述主计算节点将获取自各从计算节点的第二键值对数据进行分组获得第三键值对数据；

所述主计算节点根据用户选取的算法模型对所述第三键值对数据进行分析，获得所述多个待分析人员之间的人际关系数据。

可选地，所述从计算节点的内存中分配预设大小的数组空间，所述数组空间用于存储将所述第一键值对数据进行分组的过程中的中间结果。

可选地，所述获取待分析的数据集的步骤，包括：

获取用户配置的数据索引信息；

根据所述数据索引信息从数据源获取所述待分析的数据集。

可选地，所述数据源包括非结构化存储的文本数据。

可选地，所述数据索引信息包括位置索引信息以及筛选条件，所述根据所述数据索引信息从数据源获取所述待分析的数据集的步骤包括：

根据所述位置索引信息从所述数据源获取待筛选数据；

根据所述筛选条件对所述待筛选数据进行清洗获得所述待分析的数据集。

可选地，所述分布式计算系统包括分布式文件系统HDFS(Hadoop DistributedFile System，分布式文件系统)以及数据仓库工具Hive，所述待筛选数据存储在所述HDFS中，所述Hive存储有所述待筛选数据的索引表；

所述根据所述筛选条件对所述待筛选数据进行清洗获得所述待分析的数据集的步骤包括：