[发明专利]大数据治理中基于元数据和数据分析技术实现系统数据架构梳理的方法

说明书

本发明涉及一种大数据治理中基于元数据和数据分析技术实现系统数据架构梳理的方法，包括以下操作：系统信息录入，记录系统基本情况；通过标准元数据采集工具采集技术元数据；从系统的业务场景为源点采集业务元数据；通过业务元数据的关联分析元数据链路；识别业务元数据与技术元数据的业务含义；分析数据能力、数据全景和数据热度。采用了本发明的大数据治理中基于元数据和数据分析技术实现系统数据架构梳理的方法，通过自上而下的采集业务元数据，自下而上的采集技术元数据，由于对系统功能的全覆盖采集，数据的真实性、有效性得以保障，具有更高的准确性且可落地性强，为企业在大数据治理领域提供有力支撑，具有很好的推广应用价值。

技术领域

本发明涉及计算机软件领域，尤其涉及大数据治理领域，具体是指一种大数据治理中基于元数据和数据分析技术实现系统数据架构梳理的方法。

背景技术

随着大数据技术的快速发展，越来越多的企业开始将数据视为资产进行管理，更有不少企业在数据资产的基础上实现了数据运营，而要具备这些能力，企业对系统的数据架构需要有一个全面认识，例如：在系统的各种数据中，哪些是基础数据、哪些是核心数据、系统的数据主题有哪些、系统能够对外提供哪些数据等等，而企业的系统建设并不统一，往往由不同供应商采用不同技术架构在不同时期建成，企业对系统本身的数据情况并不完全掌握，因此想从全局出发进行数据架构梳理是非常不易的，当前市场上一般采用元数据技术盘点系统数据结构，再与业务专家进行调研，梳理数据架构，但由于元数据本身太技术化，缺少对业务的理解，而业务专家又大多不了解技术实现并且业务能力无法准确衡量，调研效果也有好有坏，往往费时、费力梳理之后得到的结果却差强人意，数据主题也因此变成“空中楼阁”，难以落地，因此，企业需要一个上手难度小、人员要求低、过程标准化，并且得到的结果准确、有效，具备较高可落地性的系统数据架构梳理方法。

现有元数据相关技术如下：

一种基于元数据链路的数据追踪方法及系统(申请号：CN201910095599.4)，其提供了一种基于元数据链路的数据追踪方法，包括：收集数据传输日志；根据数据传输日志生成字段级元数据链路；根据上传的查询条件，追踪到与查询条件匹配的字段级元数据链路；对字段级元数据链路进行可视化处理以生成图形界面。本发明还公开了一种基于元数据链路的数据追踪系统，包括收集模块，用于收集数据传输日志；生成模块，用于生成字段级元数据链路；追踪模块，用于根据上传的查询条件追踪与查询条件相匹配的字段级元数据链路；可视化模块，用于对字段级元数据链路进行可视化处理以生成图形界面。采用本发明，通过字段级元数据链路，能够快速追踪到具体的数据。

通过上述一种基于元数据链路的数据追踪方法及系统技术，包括：通过收集数据传输日志，进一步生成字段级元数据链路，并可视化显示，通过元数据链路，追踪到具体的数据。通过获取模块能够获取到整个数据链路中每个流转节点的数据值，通过比较模块比较整个数据链路中每个流转节点的数据值，定位出有问题的流转节点及其数据值。通过范围判断模块，在定位出问题流转节点后，通过数据链路追踪，能够判断出哪些流转节点会受影响，哪些数据链路会受影响，从而发现问题，补救问题。通过质量反馈模块，对数据质量情况反馈，能够获悉数据传输过程中数据质量的变化，从而实现对整条数据链路的数据质量进行监控。该技术从元数据视角出发，通过技术手段追踪数据链路，但却缺少对业务的理解，更多作用在于事后快速定位问题，并不擅长梳理系统的数据架构，无法分析出系统中涉及的数据主题和系统能提供的数据能力。

发明内容

本发明的目的是克服了上述现有技术的缺点，提供了一种满足有效性高、分析能力强、适用范围较为广泛的大数据治理中基于元数据和数据分析技术实现系统数据架构梳理的方法。

为了实现上述目的，本发明的大数据治理中基于元数据和数据分析技术实现系统数据架构梳理的方法如下：

该大数据治理中基于元数据和数据分析技术实现系统数据架构梳理的方法，其主要特点是，所述的方法包括以下步骤：

(1)系统信息录入，记录系统基本情况；