[发明专利]大数据治理中基于元数据实现数据标准与数据质量关联处理的方法有效
| 申请号: | 201910446036.5 | 申请日: | 2019-05-27 |
| 公开(公告)号: | CN110119395B | 公开(公告)日: | 2023-09-15 |
| 发明(设计)人: | 滑少鹏;王克强 | 申请(专利权)人: | 普元信息技术股份有限公司 |
| 主分类号: | G06F16/215 | 分类号: | G06F16/215;G06F16/22 |
| 代理公司: | 上海智信专利代理有限公司 31002 | 代理人: | 王洁;郑暄 |
| 地址: | 201203 上海市浦东新区中*** | 国省代码: | 上海;31 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 数据 治理 基于 实现 标准 质量 关联 处理 方法 | ||
1.一种大数据治理中基于元数据实现数据标准与数据质量关联处理的方法,其特征在于,所述的方法包括以下步骤:
(1)采集元数据;
(2)导入企业数据标准;
(3)将元数据按照数据标准进行归类,并以数据标准编号为关键字段进行存储;
(4)根据数据标准制定数据质量标准;具体包括以下步骤:
(4.1)将数据质量标准导入元数据系统,作为独立的元数据进行管理;
其中的数据标准对应多条数据质量标准,单条数据质量标准只对应单条数据标准;
(5)根据数据质量标准编写质量规则;其中的数据质量标准对应多条质量规则,单条质量规则只来自于单条数据质量标准;其中的质量规则包括检测范围、检测属性和检测规则;
(6)根据质量规则检核元数据;
所述的步骤(2)具体包括以下步骤:
(2.1)将企业数据标准整理至元数据可识别的文件模版中;
(2.2)以元数据采集的方式将数据标准导入至元数据系统;
(2.3)将数据标准作为独立的元数据进行管理;
所述的步骤(3)中的数据标准适用多个元数据,单个元数据只对应单条数据标准。
2.根据权利要求1所述的大数据治理中基于元数据实现数据标准与数据质量关联处理的方法,其特征在于,所述的步骤(1)具体包括以下步骤:
(1.1)获取数据源配置,通过元数据适配器扫描数据源中的数据库信息;
(1.2)对数据进行转换,将数据写入元数据系统。
3.根据权利要求2所述的大数据治理中基于元数据实现数据标准与数据质量关联处理的方法,其特征在于,所述的步骤(1.1)中的数据库信息包括数据库的组织及结构、表名、字段名、视图、关系、主键和外键。
4.根据权利要求1所述的大数据治理中基于元数据实现数据标准与数据质量关联处理的方法,其特征在于,所述的步骤(6)具体包括以下步骤:
(6.1)执行质量规则,并收集在执行过程中产生的问题数据;
(6.2)根据数据的字段名和所属表名查出对应的元数据,获取元数据对应的数据标准;
(6.3)将检核信息整理并形成数据质量报告。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于普元信息技术股份有限公司,未经普元信息技术股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910446036.5/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种改进的分层注水数据清洗方法
- 下一篇:数据管理方法及相关产品
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置





