[发明专利]一种基于数据特征分析的业务系统主数据识别与区分方法

说明书

本发明属于数据识别与区分技术领域，具体涉及一种基于数据特征分析的业务系统主数据识别与区分方法。包括以下步骤：抽样扫描数据，识别出业务系统数据源中各数据字段所在的表的特征，数据特征，识别为数据字段，存为全量字段列表，存入值‑‑域索引库；抽取出唯一主体识别标签与通用关联标签所对应的字段，进行逐步渐进抽样到全量分析，进行该类字段的Unique率识别并存入Unique字段列表；取出所有唯一主体识别字段或关联字段，按标签类型归类为集合，进行去重操作和抽样数据匹配；找出每一个主体识别标签字段所在的表的关联字段，找出该关联字段所对应的所有数据表，并存入“标签—数据关联表”。

技术领域

本发明属于数据识别与区分技术领域，具体涉及一种基于数据特征分析的业务系统主数据识别与区分方法。

背景技术

常见主数据识别与区分方法是由业务系统数据管理员发起，进行大量的业务沟通，数据结构与用途确认，并由业务系统开发人员与负责人共同确认并识别主数据。常见方法无法在短期内完成，需经过长期的有效沟通，短则一周，长则数月，且常见方法为纯人工梳理方式，存在一定的主观性和不确定性。

发明内容

针对现有技术的不足，本发明提供了一种基于数据特征分析的业务系统主数据识别与区分方法，能够快速关联到某个独特数据的完整数据集，并且关联规则一致。

一种基于数据特征分析的业务系统主数据识别与区分方法，包括以下步骤：

（1）抽样扫描数据，识别出业务系统数据源中各数据字段所在的表的特征，数据特征，通过预先的数据特征定义，识别为数据字段，存为全量字段列表，存入值--域索引库；

（2）抽取出唯一主体识别标签与通用关联标签所对应的字段，进行逐步渐进抽样到全量分析，进行该类字段的Unique率识别并将符合条件的数据存入Unique字段列表；

（3）取出所有唯一主体识别字段或关联字段，按标签类型归类为集合，进行去重操作，而后从去重列表中取其中数据量最大的列作为样本列，计算其余列与样本列的值比例，进行抽样数据匹配。

（4）找出每一个主体识别标签字段所在的表的关联字段，通过该关联字段，找出该关联字段所对应的所有数据表，并存入“标签—数据关联表”。

进一步的，所述的步骤（1）中，所述的数据特征包括数据类型、是否是常用关联字段。

进一步的，所述的步骤（1）中所述的数据字段包括唯一主体识别字段 ，敏感字段，关联字段。

进一步的，所述的步骤（2）中，渐进抽样分析过程包括先取3%的值，再取5%的值，直到50%值。

进一步的，所述的步骤（3）中，所述的标签类型包括UUID一类，手机号一类，护照号码一类。

进一步的，所述的步骤（3）中去重操作计算完第一轮后，取第二大的去重列作为样本列表，同样进行一轮匹配分析，直到集合中的所有列跑完，得出数据表关联列表和关联数据集表。

进一步的，所述的步骤（4）中，关联字段通过Unique字段列表获取，所有数据表通过数据表关联列表获取。

本发明可以获得该业务系统数据中的主数据信息，包括各组主数据的主表，以及主表所关联的子表和分表，可以通过某个独特数据，关联到属于某个个体数据的完整数据集。在数据特征层面进行机器学习与分析，获得的业务系统海量数据中主数据所在的数据表，用于数据合规，数据发现与管理; 识别业务系统数据中的主数据以及主数据关联的完整数据集，用于分析数据隐私合规性及集合特征，以及其他相关的业务分析。

附图说明

图1为本发明工作流程图；

图2为全量字段列表图；

图3为数据表关联列表图；