[发明专利]元数据处理方法、装置、电子设备

说明书

公开一种元数据处理方法、装置、电子设备及机器可读存储介质。在本申请中，数据仓库系统从对接的源数据系统中补充获取与源数据相关的技术元数据以及获取用户新增输入的与源数据相关的业务元数据，并将保存技术元数据和业务元数据保存至ODS库中，以使得与对应源数据相关的技术元数据和业务元数据，在基于ODS库进行后续的数据清洗、数据建模及数据发布的数据处理过程中进行自动继承，无需人工重复录入，减少了数据维护成本，提高了维护效率，保障了元数据在数据处理全流程中的一致性。

技术领域

本申请一个或多个实施例涉及计算机应用技术领域，尤其涉及元数据处理方法、装置、电子设备及机器可读存储介质。

背景技术

数据仓库系统在对数据进行加工处理的过程中涉及多个数据处理环节，例如：数据接入、数据清洗、数据建模、数据发布等。为了使数据能够有秩序的流转，避免数据依赖混乱，数据仓库系统通常被划分为ODS层，STD层，DW层，DM层以及DS层，以此来进行分层数据处理；其中，ODS层对应管理的ODS库存储从数据源接入的数据，STD层对应管理的STD库存储数据清洗后的符合标准规范的数据，DW层对应管理的DW库存储基于主题进行数据建模后建立的各种基础数据模型表，DM层对应管理的DM库存储基于专题进行数据建模后建立的复杂数据模型表，DS层对应管理的DS库存储用于数据发布给各类应用的数据；ODS层、STD层、DW层、DM层以及DS层的数据可以存储在同一数据库或者不同数据库。

发明内容

本申请提供一种元数据处理方法，应用于数据仓库系统，所述数据仓库系统包括用于分层数据处理的数据加工库，所述数据加工库包括用于数据接入汇总的ODS库、用于数据清洗的STD库，所述方法包括：

从对接的源数据系统中获取源数据和与所述源数据相关的技术元数据，并保存至所述ODS库；

获取用户输入的、与所述ODS库中的源数据相关的业务元数据，将所述业务元数据保存至所述ODS库，并对所述ODS库中数据进行数据清洗，将数据清洗后的源数据、与源数据相关的技术元数据和业务元数据保存至所述STD库；

基于用户从所述STD库中确定的目标源数据与目的建模数据的映射关系，将与所述目标源数据相关的技术元数据和业务元数据同步至所述目的建模数据，以使所述目的建模数据继承所述目标源数据的技术元数据和业务元数据。

可选的，所述基于用户从所述STD库中确定的目标源数据与目的建模数据的映射关系，将与所述目标源数据相关的技术元数据和业务元数据同步至所述目的建模数据，包括：

将所述STD库中源数据通过可视化界面向用户输出显示，以使用户在所述可视化界面从所述STD库中源数据中选择确定用于创建所述目的建模数据的所述目标源数据；

保存用户确定的所述目标源数据与所述目的建模数据的映射关系；

基于所述映射关系，将所述STD库中与所述目标源数据相关的技术元数据和业务元数据拷贝至所述目的建模数据。

可选的，当所述映射关系为一对一映射关系时，所述基于所述映射关系，将所述STD库中与所述目标源数据相关的技术元数据和业务元数据同步至所述目的建模数据，包括：

基于所述一对一映射关系，将所述STD库中与所述目标源数据相关的技术元数据和业务元数据，按字段一对一对应方式直接拷贝至所述目的建模数据。

可选的，当所述映射关系为多对一映射关系时，所述基于所述映射关系，将所述STD库中与所述目标源数据相关的技术元数据和业务元数据同步至所述目的建模数据，包括：

基于所述多对一映射关系，将所述STD库中与所述目标源数据相关的技术元数据和业务元数据拷贝至所述目的建模数据。