[发明专利]一种数据治理驱动数据共享交换系统及其工作方法在审
申请号: | 201810982805.9 | 申请日: | 2018-08-27 |
公开(公告)号: | CN109344133A | 公开(公告)日: | 2019-02-15 |
发明(设计)人: | 金日海;王纯斌;刘俊良;王双 | 申请(专利权)人: | 成都四方伟业软件股份有限公司 |
主分类号: | G06F16/176 | 分类号: | G06F16/176;G06F16/2457;G06F16/25;G06F11/10 |
代理公司: | 成都睿道专利代理事务所(普通合伙) 51217 | 代理人: | 万利 |
地址: | 610000 四川省*** | 国省代码: | 四川;51 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据共享交换 技术元数据 业务元数据 数据治理 元数据 采集 安全数据交换 异构数据源 元数据标准 元数据处理 元数据存储 元数据内容 驱动 错误数据 关系生成 接入信息 企业数据 输出数据 数据订阅 数据接口 统一管理 问题数据 业务需求 影响分析 元数据库 正确数据 质量分析 质量规则 校验 采集器 跨网络 比对 推送 解析 订阅 分析 资产 治理 服务 | ||
1.一种数据治理驱动数据共享交换方法,其特征在于:包括
元数据采集器,所述的元数据采集器与各源数据模块连接;
元数据库,所述的元数据库分别与所述的元数据处理模块和数据治理模块连接,所述的数据治理模块用于对共享的数据进行质量校验;
数据治理库,所述的数据治理库分别与所述的数据治理模块和数据共享交换模块连接,所述的数据共享交换模块用于提供数据推送和对外接口调用的订阅;
交换方法包括以下步骤:
步骤一:元数据采集器根据元数据标准采集若干异构数据源中的元数据,将采集的元数据存储至元数据库,所述的元数据包括技术元数据和业务元数据;
步骤二:元数据处理模块根据元数据接入信息,形成技术元数据之间的血缘关系、影响关系和分析关系,并通过影响分析、血缘分析和全链分析解析业务元数据和技术元数据的关系;
步骤三:数据治理模块通过识别业务元数据和技术元数据的关系生成待治理表的质量规则,然后根据质量规则对元数据内容进行校验比对,得到问题数据、错误数据、正确数据和质量分析报告并将问题数据、错误数据、正确数据和质量分析报告分类存入数据治理库中;
步骤四:数据共享交换模块根据数据订阅方式提供数据接口或推送类服务,输出数据订阅结果。
2.根据权利要求1所述的一种数据治理驱动数据共享交换方法,其特征在于:所述的元数据库和所述的元数据采集器通过元数据处理模块连接,所述的元数据处理模块用于根据元数据标准自动采集和编目相应元数据并自动匹配元数据的属性、共享方式和标准映射。
3.根据权利要求2所述的一种数据治理驱动数据共享交换方法,其特征在于:所述的元数据处理模块和所述的数据治理模块通过元数据标准匹配引擎与所述的元数据库连接。
4.根据权利要求1所述的一种数据治理驱动数据共享交换方法,其特征在于:所述的数据治理库通过数据脱敏引擎与所述的数据共享交换模块连接。
5.根据权利要求1所述的一种数据治理驱动数据共享交换方法,其特征在于:所述的步骤三还包括数据脱敏引擎根据脱敏算法标记敏感数据并制订敏感数据脱敏规则配置,所述的脱敏算法包括:替换、截断、掩码、重排、日期偏移取整。
6.根据权利要求5所述的一种数据治理驱动数据共享交换方法,其特征在于:所述的步骤三中还包括通过自定义脚本标记敏感数据并制订敏感数据脱敏规则配置。
7.根据权利要求1所述的一种数据治理驱动数据共享交换方法,其特征在于:所述的异构数据源包括关系型数据源、大数据数据源和融合数据ETL工具。
8.根据权利要求1所述的一种数据治理驱动数据共享交换方法,其特征在于:所述的步骤二还包括元数据处理模块根据元数据接入信息得到所有任务配置时间,通过任务配置时间和往期运行时长推荐用户任务调度周期。
9.根据权利要求1所述的一种数据治理驱动数据共享交换方法,其特征在于:所述的步骤三中质量规则包括数据格式校验、值域校验、数据范围校验、正则表达式校验和空值校验。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于成都四方伟业软件股份有限公司,未经成都四方伟业软件股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810982805.9/1.html,转载请声明来源钻瓜专利网。