[发明专利]数据处理方法、装置、电子设备和存储介质

说明书

本公开提供了一种数据处理方法、装置、电子设备和存储介质，涉及计算机技术领域，尤其涉及大数据处理技术领域。具体实现方案为：基于至少一个元数据类型，为数据库中的每个数据生成对应的至少一个元数据；在确定数据处理系统调用数据的情况下，基于所述数据处理系统所适用的元数据类型以及所述数据处理系统提供的元数据，在所述数据库中确定所述数据处理系统调用的数据。利用本公开实施例，提高数据处理系统调用数据的效率。

技术领域

本公开涉及计算机技术领域，尤其涉及大数据技术领域，具体涉及一种数据处理方法、装置、电子设备和存储介质。

背景技术

元数据是描述数据的数据。在传统的数据处理系统中，例如Hive、Spark、Presto、Impala等数据处理系统，一般会采用元数据来描述数据，并通过元数据来管理数据。这些不同类型的数据处理系统之间所采用的元数据模式是互不相同的。因而，他们的元数据是相互独立的。

发明内容

本公开提供了一种数据处理方法、装置、电子设备和存储介质。

根据本公开的一方面，提供了一种数据处理方法，包括：

基于至少一个元数据类型，为数据库中的每个数据生成对应的至少一个元数据；

在确定数据处理系统调用数据的情况下，基于所述数据处理系统所适用的元数据类型以及所述数据处理系统提供的元数据，在所述数据库中确定所述数据处理系统调用的数据。

根据本公开的另一方面，提供了一种数据处理装置，包括：

元数据生成模块，用于基于至少一个元数据类型，为数据库中的每个数据生成对应的至少一个元数据；

数据调用模块，用于在确定数据处理系统调用数据的情况下，基于所述数据处理系统所适用的元数据类型以及所述数据处理系统提供的元数据，在所述数据库中确定所述数据处理系统调用的数据。

根据本公开的另一方面，提供了一种电子设备，包括：

至少一个处理器；以及

与该至少一个处理器通信连接的存储器；其中，

该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行本公开任一实施例中的方法。

根据本公开的另一个方面，提供了一种数据处理系统，包括本公开任一实施例的电子设备。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使计算机执行本公开任一实施例中的方法。

根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现本公开任一实施例中的方法。

根据本公开的技术，为数据库中的每个数据提供至少一个元数据类型对应的元数据。在确定数据处理系统调用数据的情况下，基于数据处理系统所适用的元数据类型以及数据处理系统提供的元数据，在所述数据库中确定数据处理系统调用的数据。从而，数据处理系统能准确地调用数据，提高调用数据的效率。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是本公开第一实施例的数据处理方法的流程图；；

图2是本公开第二实施例的数据处理系统的结构框图；

图3是本公开第三实施例的元数据更新的时序图；