[发明专利]一种基于大数据技术的用户ID关联方法

权利要求书

1.一种基于大数据技术的用户ID关联方法，其特征在于，所述方法包括以下步骤：步骤A，读取配置信息，所述配置信息包括数据源表配置，数据表和映射字段配置，结果存储配置，歧义规则；步骤B，根据配置信息，从数据仓储拉取数据，构建顶点和边；步骤C，通过SparkGraphx将图的顶点和图的边的重复项合并，并根据图的边将图的顶点连接起来，产生若干关联图；步骤D，对图的每个顶点有向的搜索N度关系并收集起来，通过规则判断这些顶点的关系集内的节点是否存在歧义，如有则标记为歧义节点；步骤E，根据上一步收集到的每个图顶点的N度关系结点，通过规则判断低级别的顶点是否存在多重归属关系，如果有则标记；步骤F，将上一步收集到的歧义结点，根据已配置的歧义规则，进行置信度计算，完成歧义顶点的归属判定；步骤G，根据存储配置，最终将输出结果按照规定的格式存储到指定数据库中。

2.根据权利要求1所述的用户ID关联方法，其特征在于，所述步骤A读取配置信息之前还包括对数据源、数据表、字段映射和歧义规则、结果数据存储信息进行配置的步骤。

3.根据权利要求2所述的用户ID关联方法，其特征在于，所述歧义规则包括但不限于基于基准表的规则，基于权重属性的规则，基于置信度算法的规则，基于时间的规则。

4.根据权利要求1所述的用户ID关联方法，其特征在于，所述从数据仓储拉取的数据是经过清洗的数据，数据清洗工具具体包括但不限于，去重处理，异常值处理，特殊符号处理，格式处理。