[发明专利]基于多个数据源的自然人数据处理方法和系统

说明书

本发明公开了一种基于多个数据源的自然人数据处理方法和系统，其中方法包括对多个数据源的自然人数据表的用户数据中添加唯一编号信息和加入当前时间信息，得到用户时间编码数据；根据列表列名信息对数据源两两进行并行处理，得到自然人数据表内列表列名的相似度信息；在当前时间，根据图中的相似度信息和预设阈值将数据源进行合并，同时将合并的自然人数据表所有时间对应的用户时间编码数据按照编码极值分配为超级身份标识；最后根据超级身份标识对自然人数据表进行回溯处理得到多个数据源归类后的自然人信息表。本发明有效避免了相同超级身份标识的产生；减少后续数据处理对资源造成的浪费，而且提高数据处理效率，简化自然人识别的计算复杂度。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种基于多个数据源的自然人数据处理方法和系统。

背景技术

倒排索引是现代搜索引擎中使用最广泛的数据结构，它由字典和倒排列表两部分组成。其中字典保存了对文档集合进行处理后得到的词项、词项的文档频率以及一个指向该词项所对应倒排列表的指针；倒排列表由多个倒排记录构成，其中每个倒排记录对应包含该词项的一篇文档，倒排记录中记录的信息包括：文档序号(称为docID)，词项频率(词项在该文档中出现的次数)，位置信息(词项在文档中的出现位置)等。

目前，自然人识别的主要方案是利用倒排索引技术根据自然人的多维度信息识别自然人，再根据两自然人的信息匹配数量是否超过某一阈值来识别自然人是否为同一自然人。而当前识别自然人算法为T+1方式定时执行，虽然对于同一自然人的多条记录在T时和T+1时仍合并为同一自然人，但是对于同一自然人的多条记录不同时间分配到的super_id(超级身份标识)可能相同，这就导致了数据冗余，在后续数据处理时，不仅需要花费大量的资源处理相同super_id，浪费存储资源；而且降低数据处理效率，响应时间长。

发明内容

本发明的目的是提供一种基于多个数据源的自然人数据处理方法和系统，在对同一自然人的多条记录在T时和T+1时合并为同一自然人时，有效避免了相同超级身份标识的产生；减少后续数据处理对资源造成的浪费，而且提高数据处理效率，同时简化自然人识别的计算复杂度，避免后续倒排索引算法对自然人识别算法的影响。

本发明提供了一种基于多个数据源的自然人数据处理方法，包括以下步骤；

获取来自多个数据源的自然人数据表，所述自然人数据表中包括用户数据、列表表名信息以及列表列名信息；对各个所述用户数据添加唯一编号信息，得到用户编号数据；

根据当前时间信息对用户编号数据做时间识别处理，得到用户时间编码数据；同时，根据所述列表表名信息将所述用户时间编码数据存入到图的顶点集；

根据所述列表列名信息对数据源两两进行并行处理，得到自然人数据表内列表列名的相似度信息；根据预设阈值将所述相似度信息存入图的边集；

根据图中的所述相似度信息和预设阈值将数据源进行合并，并根据合并结果获取对应的当前用户时间编码数据和前一次用户时间编码数据；

根据编码极值选取所述当前用户时间编码数据和前一次用户时间编码数据分配为超级身份标识；并根据所述超级身份标识对自然人数据表进行回溯处理，得到多个数据源归类后的自然人信息表。

作为一种可实施方式，所述根据所述列表列名信息对数据源两两进行并行处理，得到自然人数据表内列表列名的相似度信息；根据预设阈值将所述相似度信息存入图的边集，包括以下步骤；

任意选取两个数据源的列列表列名的公共列信息，并对所述公共列信息的相同列宽进行求同处理，得到共同列宽值；

并根据每个所述共同列宽值对数据源的自然人数据表中进行合并分组，得到自然人分组数据；

对每个同组的自然人分组数据之间的关联关系进行相似度处理，得到相似度信息；并将相似度信息与预设阈值的进行比较，根据比较结果将相似度信息存入图的边集。