[发明专利]一种基于Hadoop的数据治理系统

说明书

本发明公开了一种基于Hadoop的数据治理系统，属于数据治理技术领域。本发明的基于Hadoop的数据治理系统包括数据源、数据治理规则配置模块、数据治理规则执行模块、数据交付模块、数据治理评估报告模块、日志模块和权限管理模块。数据源通过查询过滤条件，配置数据挖掘所需的数据；数据治理规则配置模块选择数据源中的数据进入数据挖掘计算；数据治理规则执行模块针对数据处理规则，对输入数据进行治理；数据交付模块使经过治理的数据与数据挖掘模型的输入类型匹配。该发明的基于Hadoop的数据治理系统能够解决数据挖掘、数据计算、数据分析过程中遇到的数据缺少、数据冗余、数据错误等异常情况，具有很好的推广应用价值。

技术领域

本发明涉及数据治理技术领域，具体提供一种基于Hadoop的数据治理系统。

背景技术

随着社会的不断进步，社会经济飞速发展，同时带动着社会中各项工业的发展。计算机具有存储信息量大，使用者获取信息方便快捷等优点，受到广泛的应用，并且社会工业的发展离不开计算机的使用。计算机能够快速的整合各企业的相关数据，并能快速的处理企业已经发生的数据信息，为企业业务的稳定运营及正常发展提供基础。特别是随着经济的进一步发展，各个企业的数据量越来越多，如何能够正确的记录企业的数据具有重要的意义。

但是，目前随着数据量的不断增多，在数据方面存在数据缺少、数据冗余、数据错误等异常情况，当出现上述情况时，数据的实用价值会大大降低，并且会影响企业的正常运营，具有很大的缺陷。

发明内容

本发明的技术任务是针对上述存在的问题，提供一种能够解决数据挖掘、数据计算、数据分析过程中遇到的数据缺少、数据冗余、数据错误等异常情况的基于Hadoop的数据治理系统。

为实现上述目的，本发明提供了如下技术方案：

一种基于Hadoop的数据治理系统，该系统包括数据源、数据治理规则配置模块、数据治理规则执行模块、数据交付模块、数据治理评估报告模块、日志模块和权限管理模块，数据源通过查询过滤条件，配置数据挖掘所需的数据；数据治理规则配置模块选择数据源中的数据进入数据挖掘计算；数据治理规则执行模块针对数据处理规则，对输入数据进行治理；数据交付模块使经过治理的数据与数据挖掘模型的输入类型匹配；数据治理评估报告模块给出应用数据治理规则后，与原始数据的差异性；日志模块用于记录数据挖掘过程产生的日志数据；权限管理模块用于控制用户的权限。

该基于Hadoop的数据治理系统着重于交付可信、安全的数据，为数据挖掘、数据分析算法提供支持，并通过该系统中可选择的参数配置默认的数据治理方案，包括数据质量规则、安全屏蔽规则、存档规则和数据保留政策。在海量数据的背景下，该系统以hadhoop为平台结合MapReduce以及Spark的计算能力达到跟踪数据质量和解决数据异常的效果。用于解决数据挖掘、数据计算、数据分析等过程中遇到的数据缺少、数据冗余及数据错误等异常情况，通过对异常数据的治理，数据能够达到一定的实用价值。该系统中涉及的数据治理规则通过预先设置的模板或算法。

作为优选，所述数据源为结构化数据，结构化数据通过sql查询。

结构化数据包括Oracle、Mysql等。

作为优选，所述数据源为非结构化数据，非结构化数据通过关键字方式进行查询。

非结构化数据包括Hadoop、Hive、HBase等。

所述数据源在UI界面上展示数据内容至少展示元数据。

作为优选，所述数据治理规则配置模块对数据源中的数据列配置对应的数据治理规则及其参数。

作为优选，所述配置对应的数据治理规则涉及文本与数字类型、数据列表类型和bool类型。

理想情况下，选定数据列后，系统应提示可选择的过滤规则，选定治理规则后，界面上应提示异常数据，体现被影响数据的具体变化。