[发明专利]一种基于多维标签的数据质量检测方法和系统

权利要求书

1.一种基于多维标签的数据质量检测方法，其特征在于，所述方法包括：

S1：利用大数据系统接入的各业务场景对原始数据，进行数据项的分类，将所述数据项分为已知类型数据项和未知类型数据项；

S2：基于所述已知类型数据项和检测规则库、利用多维标签分析算法为所述已知类型数据项打上对应的维度标签，并利用所述维度标签动态调整所述已知类型数据项的质量检测流程；

S3：基于未知类型数据项并结合所述检测规则库，利用规则相似性评估算法为未知类型数据源推荐质量检测引擎，并对所述质量检测引擎的结果进行验证，获得有效质量检测规则集合；以及

S4：保存所述已知类型数据项的质量检测流程和所述有效质量检测规则集合并更新多维标签规则库；

其中，所述S2步骤中的所述多维标签分析算法具体包括以下子步骤：

S21：将所述已知类型数据项的业务类型和数据项类型结合所述检测规则库映射存储到检测规则数据集合S_n；

S22：将所述检测规则数据集合S_n根据不同规则类型拆分成必检集合Z_m和可检集合K_m,并分别根据检测顺序进行倒序排序，获得对应的倒序必检集合Z′_m和倒序可检集合K′_m；

S23：针对已知类型数据源的前数条记录遍历执行所述倒序必检集合Z′_m的质量规则检测，获得所述倒序必检集合Z′_m的结果异常数和检测数量，并计算出对应的异常比例，直至所述异常比例小于执行下步阈值，结束所述倒序必检集合Z′_m的遍历操作；

S24：同理执行所述倒序可检集合K′_m的质量规则检测，获得所述倒序可检集合K′_m的结果异常数和检测数量，并计算出对应的异常比例，直至所述异常比例小于所述执行下步阈值，结束所述可检集合K′_m的遍历操作，并更新所述倒序必检集合Z′_m和所述倒序可检集合K′_m；

所述S3步骤中的规则相似性评估算法具体包括以下子步骤：

S31：随机提取所述检测规则库中检测规则集合A_n作为所述未知类型数据源的默认质量检测规则；

S32：针对所述未知类型数据源的前数条记录遍历执行所述检测规则集合A_n，并过滤小于设定阈值的所述未知类型数据项，获得有效检测结果集合T_m，基于所述有效检测结果集合T_m的序号过滤所述检测规则集合A_n，进而获得有效检测规则集合A_m；

S33：利用关联规则库建立所述有效检测规则集合A_m至对应数据项的倒排表，将所述有效检测规则集合下的数据项列表进行两两组合，计算每组存在交集的数据项组合的相似度，并存储到组合有效检测规则集合A′_m的数据集中；

S34：响应于所述组合有效检测规则集合A′_m中的相似度大于指定阈值，获得所述未知类型数据源的质量检测规则集合A_x。

2.根据权利要求1所述的一种基于多维标签的数据质量检测方法，其特征在于，所述检测规则库包括第一记录ID、所述业务类型、数据项类型、所述规则类型、所述检测顺序、异常数、总数量、所述执行下步阈值、改变规则类型阈值和质量规则。

3.根据权利要求1所述的一种基于多维标签的数据质量检测方法，其特征在于，所述规则关联库包括第二记录ID、规则ID、所述相似度、所述业务类型和数据项标识。

4.根据权利要求2所述的一种基于多维标签的数据质量检测方法，其特征在于，所述异常比例的具体计算公式：异常比例＝(异常数+结果异常数)/(总数量+检测数量)，其中，当所述异常比例大于所述改变规则类型阈值，则将所述规则类型由必检项改成可检项。

5.根据权利要求1所述的一种基于多维标签的数据质量检测方法，其特征在于，在所述S33步骤中的所述相似度的具体计算公式：相似度＝每种存在交集数据项个数/两组数据项的总个数。