[发明专利]数据处理方法、装置、电子设备及系统

权利要求书

1.一种数据处理方法，其特征在于，包括：

获取分布式文件系统的至少一个待处理数据，确定每一所述待处理数据的第一字段所在的数值范围；

将所述数值范围划分为至少两个子数值范围；

基于所述至少两个子数值范围，将所述待处理数据划分为至少两个扩展元数据文件；

基于每一所述扩展元数据文件的数据属性，新建扩展元数据；所述数据属性包括每一所述扩展元数据文件所在的子数值范围，所述扩展元数据存储在所述分布式文件系统中。

2.根据权利要求1所述的数据处理方法，其特征在于，所述获取分布式文件系统的至少一个待处理数据，包括：

获取所述分布式文件系统的版本信息；

基于所述版本信息，确定所述分布式文件系统的根目录；

确定所述根目录中需要进行数据处理的至少一个分区目录；

将每一所述分区目录对应的数据，作为所述待处理数据。

3.根据权利要求2所述的数据处理方法，其特征在于，所述将所述数值范围划分为至少两个子数值范围，包括：

确定所述根目录中需要进行数据处理的相关数据数量；所述相关数据数量包括以下至少一项：分区目录总数、文件总数；

基于所述相关数据数量，确定分区因子；所述分区因子用于确定每一所述子数值范围；

基于所述分区因子，将所述数值范围划分为至少两个子数值范围。

4.根据权利要求2所述的数据处理方法，其特征在于，所述基于每一所述扩展元数据文件的数据属性，新建扩展元数据之后，包括：

基于每一所述扩展元数据文件，建立一个分区子目录；所述分区子目录为所述分区目录的下一级目录或同级目录，所述扩展元数据文件存储在所述分布式文件系统中；

将每一所述扩展元数据文件与所述分区子目录的对应关系，和/或每一所述扩展元数据文件所在的子数值范围与所述分区子目录对应关系，保存到所述扩展元数据。

5.一种数据处理方法，其特征在于，包括：

获取查询信息，从所述查询信息中提取第一字段；

从扩展元数据中，确定所述第一字段的字段信息所在的至少一个扩展元数据文件，将所述至少一个扩展元数据文件的数据作为待查询数据；所述扩展元数据基于如权利要求1-4中任一项所述的数据处理方法生成，所述字段信息包括数值或数值范围；

基于所述字段信息，从所述待查询数据中，确定符合所述查询信息的数据。

6.根据权利要求5所述的数据处理方法，其特征在于，所述基于所述字段信息，从所述待查询数据中，确定符合所述查询信息的数据，包括：

基于所述字段信息，从所述待查询数据中，确定符合所述字段信息的候选数据；

从所述候选数据中，确定符合所述查询信息中的除所述字段信息外的其他信息的数据，作为确定符合所述查询信息的数据。

7.根据权利要求5所述的数据处理方法，其特征在于，所述从扩展元数据中，确定所述第一字段的字段信息所在的至少一个扩展元数据文件，包括：

从扩展元数据中，确定所述第一字段的字段信息对应的至少一个子数值范围；

基于所述扩展元数据内的子数值范围与分区子目录对应关系，确定与所述至少一个子数值范围对应的至少一个所述分区子目录；

确定每一所述分区子目录对应的一个扩展元数据文件。

8.一种数据处理装置，其特征在于，包括：

获取模块，用于获取分布式文件系统的至少一个待处理数据，确定每一所述待处理数据的第一字段所在的数值范围；

第一划分模块，用于将所述数值范围划分为至少两个子数值范围；

第二划分模块，用于基于所述至少两个子数值范围，将所述待处理数据划分为至少两个扩展元数据文件；

新建模块，用于基于每一所述扩展元数据文件的数据属性，新建扩展元数据；所述数据属性包括每一所述扩展元数据文件所在的子数值范围，所述扩展元数据存储在所述分布式文件系统中。