[发明专利]数据表处理方法、装置、计算机设备和存储介质

权利要求书

1.一种数据表处理方法，其特征在于，所述方法包括：

获取多个数据源表各自的字段名以及与每个所述字段名对应的字段内容，所述多个数据源表中至少两个数据源表的数据结构不同；所述数据源表的字段名包括第一标识字段名和特征字段名，所述字段内容包括所述第一标识字段名对应的第一对象标识和所述特征字段名对应的特征内容；

将每个所述数据源表中各所述第一对象标识，作为相应竖表的第二标识字段名所对应的第二对象标识；每个所述竖表具有相同数据结构，所述数据结构为对象标识-键-值结构；同一竖表中所述第二标识字段名下的各第二对象标识相同；

将每个所述数据源表的各所述特征字段名，作为相应竖表的键字段名所对应的键内容；同一竖表中所述键字段名下的各个键内容不同；

将每个所述特征字段名在所属数据源表中对应的特征内容，作为相应竖表的值字段名下与相应键内容所对应的值内容；每个所述竖表中的键内容和对应的值内容形成键值对；

根据每个所述竖表中的所述第二标识字段名、所述键字段名和所述值字段名，将每个所述竖表中包括第二对象标识、键内容和值内容的数据行进行递归聚合处理，得到全量竖表；所述全量竖表与所述竖表的数据结构相同；

将各所述数据源表的字段名组织成数据宽表中的宽表字段名；

基于所述宽表字段名，对所述全量竖表中的字段内容进行数据聚合处理，得到所述数据宽表中与所述宽表字段名对应的宽表字段内容。

2.根据权利要求1所述的方法，其特征在于，所述获取多个数据源表各自的字段名以及与每个所述字段名对应的字段内容，包括：

获取多个数据源表各自的源地址，并将各所述源地址分发至分布式集群的多个服务器；

通过多个所述服务器并行从各自接收的源地址所对应的数据源表中提取字段名以及与每个所述字段名对应的字段内容。

3.根据权利要求1所述的方法，其特征在于，所述根据每个所述竖表中的所述第二标识字段名、所述键字段名和所述值字段名，将每个所述竖表中包括第二对象标识、键内容和值内容的数据行进行递归聚合处理，得到全量竖表，包括：

根据至少两个竖表中的所述第二标识字段名、所述键字段名和所述值字段名，将所述至少两个竖表中包括第二对象标识、键内容和值内容的数据行进行拼接处理，并将拼接处理所生成的临时表和下一竖表继续按照所述第二标识字段名、所述键字段名和所述值字段名进行拼接处理，直至得到与最后一竖表拼接所生成的全量竖表。

4.根据权利要求1所述的方法，其特征在于，所述根据每个所述竖表中的所述第二标识字段名、所述键字段名和所述值字段名，将每个所述竖表中包括第二对象标识、键内容和值内容的数据行进行递归聚合处理，得到全量竖表，包括：

根据每个所述竖表中的所述第二标识字段名、所述键字段名和所述值字段名，将每个所述竖表中包括第二对象标识、键内容和值内容的数据行进行递归聚合处理，并对递归聚合处理所得到的竖表中具有相同数据的数据行进行去重处理，得到全量竖表。

5.根据权利要求1所述的方法，其特征在于，所述获取多个数据源表各自的字段名，包括：

获取多个数据源表各自的源地址，并将各所述源地址分发至分布式集群的多个服务器；

通过多个所述服务器并行从各自接收的源地址所对应的数据源表中提取字段名；

所述将各所述数据源表的字段名组织成数据宽表中的宽表字段名，包括：

通过多个所述服务器并行将各自接收的源地址所对应的数据源表中提取的字段名，组织成相应数据源表对应的字段名序列；

将每个所述数据源表对应的字段名序列组织成全量字段名序列，并将所述全量字段名序列组织成数据宽表中的宽表字段名。

6.根据权利要求1所述的方法，其特征在于，所述基于所述宽表字段名，对所述全量竖表中的字段内容进行数据聚合处理，得到所述数据宽表中与所述宽表字段名对应的宽表字段内容，包括：

将所述全量竖表中的字段内容，写入所述数据宽表中与相应宽表字段名对应的内容位置，得到所述数据宽表中与所述宽表字段名对应的宽表字段内容。