[发明专利]数据表的连接方法和装置

说明书

本申请公开了一种数据表的连接方法和装置。其中，该连接方法包括：获取待连接的多个数据表中每个数据表的统计信息，其中，统计信息中记录有对应的数据表的属性信息；基于每个数据表的属性信息，确定每个数据表的数据容量；基于数据容量确定多个数据表中属于同一类型的数据表集合，并将数据表集合中的数据表进行表连接，得到中间数据表；将中间数据表与多个数据表中未连接的数据表依次连接。通过本申请，解决了现有技术中表连接时系统效率低的技术问题。

技术领域

本申请涉及数据处理领域，具体而言，涉及一种数据表的连接方法和装置。

背景技术

针对查询维度链计算出的所有表结点(如多个事实数据表)，需要进行表连接，而表连接顺序的设定对整个查询系统的性能的影响较大。现有技术中进行表连接时，由于各引擎的查询的实现方式不同，对整个查询系统的性能的影响方式不同，在进行表连接时，随机确定顺序或预先确定表顺序，该表连接方法的性能较差。另外，如何判断表是大表还是小表，且在带有过滤条件后，如何判断哪个是大表，哪个是小表，目前还未提出任何与此相关的方案。按照随机确定的顺序或预先确定的表顺序对各个表进行连接，表连接效率低，将会造成系统资源开销大、性能差。

针对现有技术中表连接时系统效率低的问题，目前尚未提出有效的解决方案。

发明内容

本申请实施例提供了一种数据表的连接方法和装置，以至少解决现有技术中表连接时系统效率低的问题。

根据本申请实施例的一个方面，提供了一种数据表的连接方法，该连接方法包括：获取待连接的多个数据表中每个数据表的统计信息，其中，统计信息中记录有对应的数据表的属性信息；基于每个数据表的属性信息，确定每个数据表的数据容量；基于数据容量确定多个数据表中属于同一类型的数据表集合，并将数据表集合中的数据表进行表连接，得到中间数据表；将中间数据表与多个数据表中未连接的数据表依次连接。

进一步地，将数据表集合中的数据表进行表连接，得到中间数据表包括：将数据表集合中的数据表并发连接，得到中间数据表。

进一步地，基于数据容量确定多个数据表中属于同一类型的数据表集合包括：将多个数据表中，数据容量小于预设数据容量的数据表确定为属于同一类型的数据表集合；或按照数据容量的大小顺序对多个数据表进行排序，得到第一序列，将第一序列中排序在前N位的数据表确定为属于同一类型的数据表集合，其中，N为大于等于二的自然数。

进一步地，将中间数据表与多个数据表中未连接的数据表依次连接包括：按照中间数据表和多个数据表中未连接的数据表的数据容量的大小排列，得到第二序列；将第二序列中各个数据表的顺序作为连接顺序；按照连接顺序，依次连接第二序列中的各个数据表。

进一步地，依次连接第二序列中的各个数据表包括：将第二序列中的第一个数据表设置为当前的第一表，对当前的第一表执行下述操作，直至第二序列中的最后一个数据表，操作包括：按照连接顺序，获取当前的第一表的下一个数据表，将下一个数据表作为第二表；将第一表和第二表连接，得到第三表；确定第三表和第二序列中未进行连接的数据表中，用于执行下一次操作的当前的第一表。

进一步地，确定第三表和第二序列中未进行连接的数据表中，用于执行下一次操作的当前的第一表包括：基于第三表与第二序列中未进行连接的数据表的数据容量，重新确定连接顺序；将重新确定的连接顺序中第一个数据表作为用于执行下一次操作的当前的第一表。

进一步地，基于每个数据表的属性信息，确定每个数据表的数据容量包括：从数据表的属性信息中读取数据表的数据容量；或从数据表的属性信息中读取数据表的行数，使用数据表的行数表示数据容量。