[发明专利]一种数据连接优化方法和数据运算系统

权利要求书

1.一种数据连接优化方法，其特征在于，包括：

m₁个第一Map节点分别统计中心节点对数据库分配的第一数据块中来源于同一数据库的同一连接元素对应的记录，以获取统计结果，并将所述统计结果发送至所述中心节点，使得所述中心节点将所述统计结果发送至n₁个第一Reduce节点，其中同一连接元素的统计结果发送至同一第一Reduce节点；

所述n₁个第一Reduce节点分别根据所述统计结果获取各自的Reduce节点中来源于同一数据库的连接元素对应的记录的记录总数，根据所述记录总数与预设的阈值确定所述连接元素所属的第一集合，并将所述第一集合发送至所述中心节点，所述第一集合用于表征所述连接元素的频繁取值情况；

所述中心节点对所述第一集合中的连接元素重新排序，得到相应的第二集合，并对所述第二集合中的连接元素执行向量插入操作，获取所述第二集合对应的查询向量；

所述中心节点重新将所述数据库分配给m₂个第二Map节点，并将所述第一集合和所述查询向量发送给所述m₂个第二Map节点；

所述m₂个第二Map节点分别根据分配的第二数据块中的记录和所述查询向量确定所述记录中的连接元素所属的第一集合，并根据所述第一集合之间针对所述连接元素的交集运算确定是否对所述连接元素进行连接操作。

2.根据权利要求1所述的数据连接优化方法，其特征在于，所述m₁个第一Map节点分别统计中心节点对数据库分配的第一数据块中来源于同一数据库的同一连接元素对应的记录，以获取统计结果包括：

所述m₁个第一Map节点分别调用map函数从所述第一数据块中抽取出每一条包括所述连接元素的记录，并输出第一键值对，所述第一键值对包括所述连接元素、表征所述连接元素的数据来源的标识和计数，所述计数为1；

针对所述第一数据块中同一连接元素，将所述表征所述连接元素的数据来源的标识相同的所述第一键值对中的计数累加，得到所述第一数据块中相同数据来源的同一连接元素对应的记录的数量。

3.根据权利要求1或2所述的数据连接优化方法，其特征在于，若所述数据库包括第一数据库和第二数据库，则所述根据所述记录总数与预设的阈值确定所述连接元素所属的第一集合包括：

当所述第一Reduce节点中所述连接元素来源于所述第一数据库的第一记录总数小于所述阈值，且来源于所述第二数据库的第二记录总数小于所述阈值时，若所述第一记录总数不等于零，则确定所述连接元素所属的第一集合为集合R_thin，若所述第二记录总数不为零，则确定所述连接元素所属的第一集合为集合S_thin，所述集合R_thin和所述集合S_thin均包括所述第一数据库和所述第二数据库中稀疏出现的连接元素；

若所述第一记录总数大于或等于所述阈值，且所述第一记录总数大于或等于所述第二记录总数，则确定所述连接元素所属的第一集合为集合R_den，所述集合R_den包括在所述第一数据库中高频出现，并且出现次数大于所述第二数据库中的出现次数的连接元素；若且所述第二记录总数不为零，则确定所述连接元素所属的第一集合为集合S_Rden，所述集合S_Rden包括在所述第二数据库中有出现，但属于所述集合R_den的连接元素；

若所述第二记录总数大于或等于所述阈值，且所述第二记录总数大于或等于所述第一记录总数，则确定所述连接元素所属的第一集合为集合S_den，所述集合S_den包括在所述第二数据库中高频出现，并且出现次数大于所述第一数据库中的出现次数的连接元素；若且所述第一记录总数不为零，则确定所述连接元素所属的第一集合为集合R_Sden，所述集合R_Sden包括在所述第一数据库中有出现，但属于所述集合S_den的连接元素。