[发明专利]在连接操作中管理数据倾斜的系统、方法和设备

权利要求书

1.一种用于管理数据倾斜的方法，所述方法包括：

计算连接操作的哈希值；

在所述连接操作的运行时使用轻量级略图数据结构来检测所述连接操作的探查侧上的数据倾斜；

在所述连接操作的探查阶段期间在所述连接操作的探查侧上标识频繁探查侧连接关键字；

标识具有与所述频繁探查侧连接关键字相对应的构建侧连接关键字的频繁构建侧行；以及

异步地将所述频繁构建侧行分配给一个或更多个远程服务器。

2.根据权利要求1所述的方法，其中，所述一个或更多个远程服务器被配置为：

异步接收所述频繁构建侧行；以及

为所述频繁构建侧行生成单独的哈希表。

3.根据权利要求1所述的方法，还包括：

选择包括所述连接操作的多个行的行集；以及

使用所述连接操作的所述哈希值将所述行集的所述多个行中的每一行探查到空间节省算法中。

4.根据权利要求3所述的方法，还包括：

基于传入数据更新所述空间节省算法；以及

对于所述空间节省算法的每次更新，作为更新所述空间节省算法的附带作用，标识指示所述频繁探查侧连接关键字被探查到的频繁程度的频率。

5.根据权利要求4所述的方法，其中，异步地将所述频繁构建侧行分配给所述一个或更多个远程服务器包括：

响应于所述频率超过预定阈值，异步地将所述频繁构建侧行分配给所述一个或更多个远程服务器；以及

响应于所述频率不超过所述预定阈值，将所述频繁构建侧行保留在当前服务器上。

6.根据权利要求3所述的方法，还包括：

计算已被探查到所述空间节省算法中的所述连接操作的总行数；

基于已被探查到所述空间节省算法中的所述连接操作的总行数，计算每个工作线程的阈值；以及

基于每个工作线程的阈值，确定所述频繁构建侧连接关键字在至少一个服务器的所有线程中是否频繁。

7.根据权利要求1所述的方法，其中，异步地将所述频繁构建侧行分配给所述一个或更多个远程服务器包括以下之一：

向多个可用的远程服务器中的每个远程服务器广播所述频繁构建侧行；或

仅将所述频繁构建侧行广播到频繁传输所述频繁构建侧连接关键字的一个或更多个远程服务器。

8.根据权利要求1所述的方法，还包括：更改服务器的输入链路，以将包括所述频繁探查侧连接关键字的频繁探查侧行路由到所述连接操作的本地实例，使得网络流量减少。

9.根据权利要求1所述的方法，其中，仅在达到以阈值置信度确定所述频繁探查侧连接关键字在服务器上是频繁的之后，才会发生将所述频繁构建侧行异步地分配给所述一个或更多个远程服务器。

10.根据权利要求3所述的方法，其中，所述轻量级略图数据结构包括哈希表空间节省算法。

11.一种存储指令的非暂时性计算机可读存储介质，所述指令在由一个或更多个处理器执行时，使所述一个或更多个处理器：

计算连接操作的哈希值；

在所述连接操作的运行时使用轻量级略图数据结构来检测所述连接操作的探查侧上的数据倾斜；

在所述连接操作的探查阶段期间在所述连接操作的探查侧上标识频繁探查侧连接关键字；

标识具有与所述频繁探查侧连接关键字相对应的构建侧连接关键字的频繁构建侧行；以及

异步地将所述频繁构建侧行分配给一个或更多个远程服务器。

12.根据权利要求11所述的非暂时性计算机可读存储介质，其中，所述指令还使所述一个或更多个处理器：

选择包括所述连接操作的多个行的行集；以及

使用所述连接操作的所述哈希值将所述行集的所述多个行中的每一行探查到空间节省算法中。