[发明专利]一种数据表关联方法和装置

权利要求书

1.一种数据表关联方法，其特征在于，所述方法应用于对第一数据表和第二数据表进行关联；其中，所述第一数据表中包括：能够造成数据倾斜的倾斜数据以及所述倾斜数据之外的非倾斜数据，所述方法包括：

由所述第一数据表中提取所述倾斜数据放入第一数据分表，并将所述非倾斜数据放入第二数据分表；

由所述第二数据表中提取匹配关联所述第一数据分表的数据，放入第三数据分表；

将所述第一数据分表和第三数据分表进行mapjoin得到第一关联表，将所述第二数据分表和所述第二数据表进行join，得到第二关联表；

将所述第一关联表和第二关联表进行组合，得到关联结果表，所述关联结果表为所述第一数据表和第二数据表关联的结果。

2.根据权利要求1所述的方法，其特征在于，所述由第一数据表中提取所述倾斜数据放入第一数据分表，并将所述非倾斜数据放入第二数据分表，包括：

由所述第一数据表中提取造成数据倾斜的至少一个关联键，将所述至少一个关联键放入关联键子表中；

根据所述关联键子表，将所述第一数据表中匹配关联所述关联键子表的数据放入所述第一数据分表，将不能匹配关联所述关联键子表的数据放入所述第二数据分表。

3.根据权利要求2所述的方法，其特征在于，所述由所述第一数据表中提取造成数据倾斜的至少一个关联键，包括：

统计所述第一数据表中的各个关联键的数量，将各个关联键按照数量由多到少的顺序进行排序；

根据预先设定的关联键数量上限，获取排序位数在所述关联键数量上限之内的至少一个关联键，作为所述造成数据倾斜的至少一个关联键。

4.根据权利要求2所述的方法，其特征在于，所述由所述第二数据表中提取匹配关联所述第一数据分表的数据，放入第三数据分表，包括：

将所述关联键子表与所述第二数据表进行关联，将关联得到的所述第二数据表的数据放入所述第三数据分表。

5.根据权利要求2所述的方法，其特征在于，所述根据所述关联键子表，将所述第一数据表中匹配关联所述关联键子表的数据放入所述第一数据分表，将不能匹配关联所述关联键子表的数据放入所述第二数据分表，包括：

将所述关联键子表与所述第一数据表进行第一次mapjoin，得到匹配关联所述关联键子表的数据放入所述第一数据分表；将所述关联键子表与所述第一数据表进行第二次mapjoin，得到不能匹配关联所述关联键子表的数据放入所述第二数据分表；

或者，将所述关联键子表与所述第一数据表进行一次mapjoin，分别对匹配关联所述关联键子表的数据和不能匹配关联所述关联键子表的数据进行标识；根据所述标识，将所述匹配关联所述关联键子表的数据放入所述第一数据分表，将不能匹配关联所述关联键子表的数据放入所述第二数据分表。

6.一种数据表关联装置，其特征在于，所述装置应用于对第一数据表和第二数据表进行关联；其中，所述第一数据表中包括：能够造成数据倾斜的倾斜数据以及所述倾斜数据之外的非倾斜数据，所述装置包括：

表拆分单元，用于由所述第一数据表中提取所述倾斜数据放入第一数据分表，并将所述非倾斜数据放入第二数据分表；

表提取单元，用于由所述第二数据表中提取匹配关联所述第一数据分表的数据，放入第三数据分表；

表关联单元，用于将所述第一数据分表和第三数据分表进行mapjoin得到第一关联表，将所述第二数据分表和所述第二数据表进行join，得到第二关联表；

表组合单元，用于将所述第一关联表和第二关联表进行组合，得到关联结果表，所述关联结果表为所述第一数据表和第二数据表关联的结果。

7.根据权利要求6所述的装置，其特征在于，所述表拆分单元包括：

键提取子单元，用于由所述第一数据表中提取造成数据倾斜的至少一个关联键，将所述至少一个关联键放入关联键子表中；

表生成子单元，用于根据所述关联键子表，将所述第一数据表中匹配关联所述关联键子表的数据放入所述第一数据分表，将不能匹配关联所述关联键子表的数据放入所述第二数据分表。