[发明专利]一种基于Flink构建IDMapping的方法、系统及计算机存储介质

说明书

本发明提供了一种基于Flink构建IDMapping的方法，包括：S1、获取用户在移动终端不同移动设备登录的设备标识ID数据；S2、获取服务器端用户注册的不同在注册ID数据；S3、将步骤S1中获取的设备标识ID数据，与步骤S2中获取的注册ID数据取交集，创建第一数据集；S4、剔除步骤S3中的第一数据集，创建第二数据集；S5、第一数据集合集与第二数据集合并，得到第三数据集；S6、使用Flink读取第三数据集，生成点集合和边集合，并通过生成的点集合和边集合进行图计算，生成大通图；S7、使用Flink读取大通图中的所有点，并将大通图中的所有点通过任意生成的唯一函数，转换成明文格式数据输出，存入Hive表中，构建IDMapping。本发明能够实现同一用户不同移动设备，不同注册账号的关联。

技术领域

本发明涉及数据处理技术领域，尤其是涉及一种基于Flink构建IDMapping的方法、系统及计算机存储介质。

背景技术

随着社会不端发展进步，每个人(用户)都会有多个手机，注册不同的账号，相同一个人(用户)拥有多个手机和多个注册账号。现需要将相同一个人(用户)拥有多少手机或者账号的用户视为一个用户。所以需要基于设备标识信息和注册信息进行用户唯一标识映射。

发明内容

本发明提供了一种基于Flink构建IDMapping的方法、系统及计算机存储介质，以解决现有技术中同一用户不同移动终端设备与不同注册信息难以关联识别的技术问题。

本发明的一个方面在于提供一种基于Flink构建IDMapping的方法，所述方法包括如下方法步骤：

S1、获取用户在移动终端不同移动设备登录的设备标识ID数据，并同步至数据仓库；

S2、获取服务器端用户注册的不同注册ID数据，并同步至数据仓库；

S3、将步骤S1中获取的设备标识ID数据，与步骤S2中获取的注册ID数据取交集，创建第一数据集；

S4、在步骤S1中获取的设备标识ID数据与步骤S2中获取的注册ID数据中，剔除步骤S3中的第一数据集，创建第二数据集；

S5、将步骤S3中创建的第一数据集合集与步骤S4中创建的第二数据集合并，得到第三数据集；

S6、使用Flink读取第三数据集，生成点集合和边集合，并通过生成的点集合和边集合进行图计算，生成大通图；

S7、使用Flink读取步骤S6生成的大通图中的所有点，并将大通图中的所有点通过任意生成的唯一函数，转换成明文格式数据输出，存入Hive表中，构建IDMapping。

在一个优选的实施例中，在步骤S1中，对获取的用户在移动终端不同移动设备登录的设备标识ID数据，进行字段去重，并将去重后的数据存入Hive表中。

在一个优选的实施例中，在步骤S2中，对获取服务器端用户注册的不同注册ID数据，进行字段去重，并将去重后的数据存入Hive表中。

在一个优选的实施例中，当增加新的设备标识ID数据或注册ID数据，则将新增的设备标识ID数据或注册ID数据插入步骤S5中生成的第三数据集中；

重复步骤S6至步骤S7，构建构建IDMapping。

在一个优选的实施例中，在步骤S7中，存入Hive表中之前，还包括：使用ETL程序对输出的明文格式数据进行数据清洗。

本发明的另一个方面在于提供一种基于Flink构建IDMapping的系统，其特征在于，所述系统包括：数据采集模块，用于获取用户在移动终端不同移动设备登录的设备标识ID数据，以及获取服务器端用户注册的不同注册ID数据，并同步至数据仓库；