[发明专利]一种基于海量数据处理的数据治理的方法及系统

摘要

本发明公开了一种基于海量数据处理的数据治理的方法及系统，属于海量数据处理领域，本发明要解决的技术问题为如何能够对庞大的数据快速、准确的定位出问题并做到问题数据有源可寻、有据可依、有错必改，采用的技术方案为：①该方法基于大数据批处理框架，采用分布式计算思想，将数据与业务含义进行绑定，在海量数据中进行校验和运算，将问题数据输出并按照json格式结构进行保存；具体步骤如下：S1、建立业务数据库、标准数据库、基础规则库和错误数据库；S2、检测基础规则库；S3、建立业务规则库；S4、建立数据检测模板；S5、制定数据质量检测任务；S6、启动数据质量检测任务。②该系统包括数据层、服务层、表现层和管控层。

主权项

1.一种基于海量数据处理的数据治理的方法，其特征在于，该方法基于大数据批处理框架，采用分布式计算思想，将数据与业务含义进行绑定，在海量数据中进行校验和运算，将问题数据输出并按照json格式结构进行保存，确保对问题数据有源可寻、有据可依、有错必改；具体步骤如下：S1、建立业务数据库、标准数据库、基础规则库和错误数据库；S2、检测基础规则库：根据业务场景和行业线提取基础规则库，对数据质量进行检测；S3、建立业务规则库：根据数据的业务含义将数据与业务进行绑定，选取字段，将字段与数据完整性基础规则绑定成为具有业务含义的业务规则，将抽象的基础规则转化为具有指定业务含义的业务规则，业务规则汇集成为业务规则库；S4、建立数据检测模板：将具有业务含义的业务规则按照数据规范或者使用者拟定的数据规范聚合成数据检测模板，方便后续数据检测；S5、制定数据质量检测任务：按照数据规范或者使用者要求的数据规范，选取数据范围、数据量、检测频次和数据检测模板；S6、启动数据质量检测任务：被选定的数据将会在数据检测模板包含的业务规则下进行分布式内存运算。