[发明专利]一种基于数据特征分析的业务系统主数据识别与区分方法

摘要

本发明属于数据识别与区分技术领域，具体涉及一种基于数据特征分析的业务系统主数据识别与区分方法。包括以下步骤：抽样扫描数据，识别出业务系统数据源中各数据字段所在的表的特征，数据特征，识别为数据字段，存为全量字段列表，存入值‑‑域索引库；抽取出唯一主体识别标签与通用关联标签所对应的字段，进行逐步渐进抽样到全量分析，进行该类字段的Unique率识别并存入Unique字段列表；取出所有唯一主体识别字段或关联字段，按标签类型归类为集合，进行去重操作和抽样数据匹配；找出每一个主体识别标签字段所在的表的关联字段，找出该关联字段所对应的所有数据表，并存入“标签—数据关联表”。

主权项

1.一种基于数据特征分析的业务系统主数据识别与区分方法，其特征在于包括以下步骤：（1）抽样扫描数据，识别出业务系统数据源中各数据字段所在的表的特征，数据特征，通过预先的数据特征定义，识别为数据字段，存为全量字段列表，存入值‑‑域索引库；（2）抽取出唯一主体识别标签与通用关联标签所对应的字段，进行逐步渐进抽样到全量分析，进行该类字段的Unique率识别并将符合条件的数据存入Unique字段列表；（3）第三轮分析计算，取出所有唯一主体识别字段或关联字段，按标签类型归类为集合，进行去重操作，而后从去重列表中取其中数据量最大的列作为样本列，计算其余列与样本列的值比例，进行抽样数据匹配；（4）找出每一个主体识别标签字段所在的表的关联字段，通过该关联字段，找出该关联字段所对应的所有数据表，并存入“标签—数据关联表”。