[发明专利]一种基于数据特征分析的业务系统主数据识别与区分方法

权利要求书

1.一种基于数据特征分析的业务系统主数据识别与区分方法，其特征在于包括以下步骤：

（1）抽样扫描数据，识别出业务系统数据源中各数据字段所在的表的特征，数据特征，通过预先的数据特征定义，识别为数据字段，存为全量字段列表，存入值--域索引库；所述的数据特征包括数据类型、数据是否是常用关联字段；所述的数据字段包括唯一主体识别字段，敏感字段，关联字段；

（2）抽取出唯一主体识别标签与通用关联标签所对应的字段，进行逐步渐进抽样到全量分析，进行唯一主体识别标签与通用关联标签所对应的字段的Unique率识别并将符合条件的数据存入Unique字段列表；渐进抽样分析过程包括先取3%的值，再取5%的值，直到50%值；

（3）第三轮分析计算，取出所有唯一主体识别字段或关联字段，按标签类型归类为集合，进行去重操作，而后从去重列表中取其中数据量最大的列作为样本列，计算其余列与样本列的值比例，进行抽样数据匹配；所述的标签类型包括UUID一类，手机号一类，护照号码一类；去重操作计算完第一轮后，取第二大的去重列作为样本列表，同样进行一轮匹配分析，直到集合中的所有列跑完，得出数据表关联列表和关联数据集表；

（4）找出每一个主体识别标签字段所在的表的关联字段，通过该关联字段，找出该关联字段所对应的所有数据表，并存入“标签—数据关联表”；关联字段通过Unique字段列表获取，所有数据表通过数据表关联列表获取。