[发明专利]流数据与维表关联方法及流计算装置

权利要求书

1.一种流数据与维表关联方法，其特征在于，应用于基于流式计算框架的流计算装置，所述流计算装置包括数据采集单元和多个处理单元，所述多个处理单元分别与关联键joinkey的不同值对应，每个处理单元具有本地缓存；所述方法包括：

所述数据采集单元获得数据流，根据所述数据流中的各数据记录各自包含的join key的值将所述数据流划分为多个子流，并将每个子流发送给与该子流的join key的值对应的处理单元；

接收到所述子流的处理单元从本地缓存中查找是否存在与所述子流中的数据记录的join key的值匹配的维表数据；其中，该处理单元的本地缓存存储有预设维表中的部分维表数据，该部分维表数据与该处理单元所对应的join key的至少一个值匹配；

若存在与所述子流中的数据记录的join key的所述值匹配的维表数据，则将所述匹配的维表数据和所述子流中的所述数据记录相关联。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

接收到所述子流的所述处理单元从所述本地缓存记录的未命中的值中，查找是否存在所述子流中的数据记录的join key的所述值；

若不存在，再执行所述从本地缓存中查找是否存在与所述子流中的数据记录的joinkey的值匹配的维表数据的步骤；

若所述本地缓存中不存在与所述子流中的数据记录的join key的所述值匹配的维表数据，则在该本地缓存中将所述数据记录的join key的所述值记录为未命中的值。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

若所述本地缓存记录的未命中的值中存在所述数据记录的join key的所述值，则结束对所述数据记录的处理。

4.根据权利要求1-3中任意一项所述的方法，其特征在于，所述方法还包括：

每个处理单元每间隔预设时长删除本地缓存记录的未命中的值。

5.根据权利要求1-3中任意一项所述的方法，其特征在于，所述方法还包括：

所述数据采集单元周期性地从所述预设维表的存储源同步维表数据到预设的缓存数据库中；

每个处理单元周期性地从所述缓存数据库存储的维表数据中，获取与该处理单元对应的join key的值匹配的部分维表数据存储到本地缓存中。

6.根据权利要求1-3中任意一项所述的方法，其特征在于，所述本地缓存为最近最少使用LRU类型的缓存。

7.一种流计算装置，其特征在于，基于流式计算框架，所述流计算装置包括数据采集单元和多个处理单元，所述多个处理单元分别与关联键join key的不同值对应，每个处理单元具有本地缓存；

所述数据采集单元，用于获得数据流，根据所述数据流中的多条数据记录各自包含的join key的值将所述数据流划分为多个子流，并将每个子流发送给与该子流的join key的值对应的处理单元；

所述处理单元，用于在接收到所述子流时，从本地缓存中查找是否存在与所述子流中的数据记录的join key的值匹配的维表数据；其中，该处理单元的本地缓存存储有预设维表中的部分维表数据，该部分维表数据与该处理单元所对应的join key的至少一个值匹配；若存在与所述子流中的数据记录的join key的所述值匹配的维表数据，则将所述匹配的维表数据和所述子流中的所述数据记录相关联。

8.根据权利要求7所述的装置，其特征在于，所述处理单元，还用于：

从所述本地缓存记录的未命中的值中，查找是否存在所述子流中的数据记录的joinkey的所述值；若不存在，再执行所述从本地缓存中查找是否存在与所述子流中的数据记录的join key的值匹配的维表数据的步骤；若所述本地缓存中不存在与所述子流中的数据记录的join key的所述值匹配的维表数据，则在该本地缓存中将所述数据记录的join key的所述值记录为未命中的值。