[发明专利]流数据与维表关联方法及流计算装置

说明书

本申请实施例提供一种流数据与维表关联方法及流计算装置，该装置包括数据采集单元和多个处理单元，各处理单元分别与join key的不同值对应。每个处理单元的本地缓存存储有预设维表的部分维表数据，该部分维表数据与该处理单元所对应的join key的至少一个值匹配。数据采集单元将获得的数据流划分为多个子流，并将每个子流发送给其join key的值对应的处理单元。处理单元根据子流的数据记录的join key的值从本地缓存中匹配维表数据，若匹配到，则将所匹配到的维表数据与该数据记录关联。如此，可以通过较小的缓存空间实现维表数据的全量缓存，提高了join性能。

技术领域

本申请涉及大数据技术领域，具体而言，涉及一种流数据与维表关联方法及流计算装置。

背景技术

在流计算中，通常由数据采集单元从外部数据源采集数据流，并分发给处理单元进行处理和分析。然而，数据采集单元采集的数据往往比较有限，因此在进行分析前，需要将数据流与维表中的数据进行关联(join，又称“连接”)，以获得相对完整的数据。

相关技术中，通常由数据采集单元获取维表的全量数据并保存到缓存数据库中，当数据流到达任一处理单元时，该处理单元先从对应的本地缓存中查询与数据流的joinkey匹配的维表数据记录，如果没有查询到，则从缓存数据库中查询与数据流的join key匹配的维表数据记录，将查询到的维表数据记录与数据流进行join，并将查询到的维表数据记录拉取到该处理单元对应的本地缓存保存。

但是，本地缓存的容量是有限的，当维表体量很大时，本地缓存存储的维表数据记录相较于整个维表数据非常少，处理单元仍将大量地访问缓存数据库，一方面导致join性能降低，另一方面可能导致缓存数据库瘫痪。

发明内容

为了至少部分地克服现有技术中的上述不足，本申请的目的之一在于提供一种流数据与维表关联方法，应用于基于流式计算框架的流计算装置，所述流计算装置包括数据采集单元和多个处理单元，所述多个处理单元分别与关联键join key的不同值对应，每个处理单元具有本地缓存；所述方法包括：

所述数据采集单元获得数据流，根据所述数据流中的各数据记录各自包含的joinkey的值将所述数据流划分为多个子流，并将每个子流发送给与该子流的join key的值对应的处理单元；

接收到所述子流的处理单元从本地缓存中查找是否存在与所述子流中的数据记录的join key的值匹配的维表数据；其中，该处理单元的本地缓存存储有预设维表中的部分维表数据，该部分维表数据与该处理单元所对应的join key的至少一个值匹配；

若存在与所述子流中的数据记录的join key的所述值匹配的维表数据，则将所述匹配的维表数据和所述子流中的所述数据记录相关联。

本申请的另一目的在于提供一种流计算装置，基于流式计算框架，该流计算装置包括数据采集单元和多个处理单元，所述多个处理单元分别与关联键join key的不同值对应，每个处理单元具有本地缓存；

所述数据采集单元，用于获得数据流，根据所述数据流中的多条数据记录各自包含的join key的值将所述数据流划分为多个子流，并将每个子流发送给与该子流的joinkey的值对应的处理单元；

接收到所述子流的处理单元，用于：从本地缓存中查找是否存在与所述子流中的数据记录的join key的值匹配的维表数据；其中，该处理单元的本地缓存存储有预设维表中的部分维表数据，该部分维表数据与该处理单元所对应的join key的至少一个值匹配；若存在与所述子流中的数据记录的join key的所述值匹配的维表数据，则将所述匹配的维表数据和所述子流中的所述数据记录相关联。

相对于现有技术而言，本申请实施例具有以下有益效果：