[发明专利]多数据流的数据拼接方法、装置、电子设备和存储介质

说明书

本申请公开了一种多数据流的数据拼接方法、装置、电子设备和存储介质，涉及大数据处理技术领域。具体实现方案为：当多数据流中第一数据流的第一数据到达时，确定第一数据流是否是指定的拼接触发数据流；其中，多数据流中的部分数据流被预先指定为拼接触发数据流；在确定第一数据流是指定的拼接触发数据流时，从缓存的第二数据流的数据中查找与第一数据匹配的第二数据，以将第一数据与第二数据进行拼接。由此通过预先指定部分数据流为拼接触发数据流，只有拼接触发数据流的某一数据到来时，才会从第二数据流中查询与之匹配的数据，以完成数据拼接，由此能够有效减少数据查询次数，进而降低资源开销，同时也降低了实现数据拼接的复杂度。

技术领域

本申请实施例涉及互联网技术领域，尤其涉及大数据处理技术领域，具体涉及了一种多数据流的数据拼接方法、装置、电子设备和存储介质。

背景技术

数据拼接是指两种以上的不同数据，由于业务上关联，通过某些同类属性的关键字值合并为一份数据。

现有技术中，通常采用对称哈希联接(symmetric hash join)算法对多个数据流的数据进行拼接。在采用symmetric hash join算法对多个数据流的数据进行拼接时，当多个数据流中的任意一条数据流有数据到来时，均会触发数据拼接，比如两条数据流中数据流1的数据1到来时，会去缓存的数据流2中数据中查找与数据1相匹配的数据，并将查找到的数据与数据1进行拼接；同样的，数据流2的数据2到来时，会去缓存的数据流1中数据中查找与数据2相匹配的数据，并将查找到的数据与数据2进行拼接。

然而现有的数据拼接方法仍存在一定的不足：在数据流的数据量比较大的情况下，采用上述现有数据拼接方法，触发数据拼接的次数会非常多，导致资源开销和复杂度都非常高。

发明内容

本申请实施例公开一种多数据流的数据拼接方法、装置、电子设备和存储介质，以解决数据拼接所需的资源开销和实现拼接的复杂度高的技术问题。

第一方面，本申请实施例公开了一种多数据流的数据拼接方法，包括：

当多数据流中第一数据流的第一数据到达时，确定所述第一数据流是否是指定的拼接触发数据流；其中，所述多数据流中的部分数据流被预先指定为拼接触发数据流；

在确定所述第一数据流是指定的拼接触发数据流时，从缓存的第二数据流的数据中查找与所述第一数据匹配的第二数据，以将第一数据与第二数据进行拼接。

上述申请中的一个实施例具有如下优点或有益效果：通过预先指定部分数据流为拼接触发数据流，只有拼接触发数据流的某一数据到来时，才会从第二数据流中查询与之匹配的数据，以完成数据拼接，由此能够有效减少数据查询次数，进而降低资源开销，同时也降低了实现数据拼接的复杂度。

另外，根据本申请上述实施例的多数据流的数据拼接方法，还可以具有如下附加的技术特征：

可选的，在确定所述第一数据流是指定的拼接触发数据流之后、从缓存的第二数据流的数据中查找与所述第一数据匹配的第二数据之前，所述方法还包括：

确定所述第二数据流中与所述第一数据匹配的第二数据是否已到达；

若是，则触发执行从缓存的第二数据流的数据中查找与所述第一数据匹配的第二数据的操作，否则，将第一数据进行缓存。

上述申请中的一个实施例具有如下优点或有益效果：通过预先确定第二数据到达，才触发数据拼接的操作，由此可以保证数据拼接的成功率，并且避免对无效数据进行拼接，以节约资源开销。

可选的，在确定所述第一数据流是指定的拼接触发数据流之后、从缓存的第二数据流的数据中查找与所述第一数据匹配的第二数据之前，所述方法还包括：

确定所述第一数据是否是延迟时间在允许范围内的数据；