[发明专利]一种海量数据质量管理与治理的系统

说明书

一种海量数据质量管理与治理的系统，系统用于将各种数据进行集中管理，对数据进行综合治理，并将治理后的数据采用数据模型服务的方式对外提供数据服务支持；其中，元数据管理模块分别依次连接于数据采集模块、数据融合模块、数据模型模块；所述数据模型模块分别连接于数据服务模块和数据可视化模块；数据采集模块经由数据清洗模块连接于数据模型模块；数据清洗模块与数据融合模块双向连接。本发明高效的数据驱动处理机制，通过监控数据变化根据制定的数据治理规则自动进行数据治理，根据硬件资源情况动态控制资源使用情况，最大限度利用硬件资源提高数据治理效率。

技术领域

本发明涉及大数据治理，特别涉及一种海量数据质量管理与治理的系统。

背景技术

随着信息科技的广泛使用，产生了海量的数据信息，这些数据信息没有完整的、科学的、安全的、高质量的数据管控体系，使得海量离线数据正在侵蚀数据拥有单位工作效率，繁杂的调取流程使得数据价值的释放变得非常困难，数据管理面临诸多困扰，容灾困难、数据孤岛、业务扩张等问题让现有的系统早已不堪重负。

发明内容

为了解决上述现有技术中存在的问题，本发明提供一种海量数据质量管理与治理的系统。

本发明解决其技术问题所采用的技术方案是：一种海量数据质量管理与治理的系统，系统用于将各种数据进行集中管理，对数据进行综合治理，并将治理后的数据采用数据模型服务的方式对外提供数据服务支持；其中，系统包括有元数据管理模块、数据采集模块、数据清洗模块、数据融合模块、数据模型模块、数据服务模块和数据可视化模块；其中，元数据管理模块分别依次连接于数据采集模块、数据融合模块、数据模型模块；数据模型模块分别连接于数据服务模块和数据可视化模块；其中，数据采集模块经由数据清洗模块连接于数据模型模块；数据清洗模块与数据融合模块双向连接。

本发明还具有以下附加技术特征：

作为本发明技术方案进一步具体优化的：元数据管理模块，用于管理系统中所有数据的元数据信息，元数据的来源包括采集和自定义两种途径，数据元用于对元数据进行约束，建立完善的元数据管理体系，为数据治理提供数据约束标准。

作为本发明技术方案进一步具体优化的：数据采集模块，用于采集各种数据资源，包括文件数据、常见结构化数据库数据或接口数据；数据采集涵盖全量采集与增量采集，操作方式提供手动采集与自动定时采集；数据采集后进行统一集中存储，结构化数据存储采用HBase数据库，非结构化数据存储采用HDFS。

作为本发明技术方案进一步具体优化的：数据清洗模块，采用常见的清洗规则，并提供自定义清洗规则以便根据需要进行灵活的扩展，自定义数据清洗规则支持shell脚本扩展和jar包扩展；数据清洗任务的驱动方式为数据驱动，将自动监控数据清洗源表的数据变化，根据数据变化自动按照清洗规则进行数据清洗；清洗后的结果独立存储。

作为本发明技术方案进一步具体优化的：数据融合模块，用于将数据按照定制的规则进行融合，包括数据行融合和数据列融合，融合后的数据将更为完善，数据覆盖面将更大；数据融合采用数据驱动方式，驱动原理与数据清洗一致；数据融合的结果将存储到数据融合目标表。

作为本发明技术方案进一步具体优化的：数据模型模块，用于对外提供标准的数据服务，服务实体模型可根据应用需求灵活构建，实体模型之间可根据业务需求进行灵活关联，从而灵活建立数据模型，通过模型对外提供标准的、可控的、可扩展的数据模型服务；实体模型的数据可由采集的数据、经过清洗的数据和经过融合的数据来提供，可由多种数据同时为一个数据模型提供数据支持。

作为本发明技术方案进一步具体优化的：数据服务模块，是建立在数据模型的基础之上，通过数据服务申请获取数据模型服务支持，管理数据服务的安全或调度，做为数据服务的控制中心为数据使用提供安全控制。

作为本发明技术方案进一步具体优化的：数据可视化模块，是通过图表、列表或数据网络图的方式为数据提供可视化展示。