[发明专利]一种数据拼接方法、装置、电子设备和存储介质

权利要求书

1.一种数据拼接方法，其特征在于，包括：

从至少两个数据分桶中为待拼接的目标数据选择目标分桶；

将所述目标数据分发到所述目标分桶的未拼接数据中，以指示所述目标分桶在监测到拼接触发事件时，对所述未拼接数据进行拼接；其中所述拼接触发事件根据所述目标分桶中的未拼接数据和已拼接数据生成。

2.根据权利要求1所述的方法，其特征在于，从至少两个数据分桶中为待拼接的目标数据选择目标分桶，包括：

根据待拼接的目标数据的分桶关键字值，确定所述目标数据的拼接方式；

若所述目标数据的拼接方式为批量拼接，则将所述分桶关键字值与候选分桶关键字和候选分桶之间的关联关系进行匹配，以得到所述目标分桶。

3.根据权利要求2所述的方法，其特征在于，确定所述目标数据的拼接方式之后，还包括：

若所述目标数据的拼接方式为实时拼接，则调用流式拼接服务将所述目标数据拼接入库。

4.根据权利要求1所述的方法，其特征在于，所述拼接触发事件根据数据拼接精度、所述目标分桶中的未拼接数据和已拼接数据生成。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括若任一数据分桶满足如下条件，则生成该数据分桶的拼接触发事件：

v_e/(v_e+v_b)＝1-α

其中v_e为该数据分桶的未拼接数据量、v_b为该数据分桶的已拼接数据量，α为所述数据拼接精度。

6.根据权利要求1所述的方法，其特征在于，所述数据分桶的大小根据最小拼接时间窗口和计算资源确定。

7.根据权利要求1所述的方法，其特征在于，所述数据分桶中的数据量随等待时间增长而收敛。

8.一种数据拼接装置，其特征在于，包括：

选择模块，用于从至少两个数据分桶中为待拼接的目标数据选择目标分桶；

分发拼接模块，用于将所述目标数据分发到所述目标分桶的未拼接数据中，以指示所述目标分桶在监测到拼接触发事件时，对所述未拼接数据进行拼接；其中所述拼接触发事件根据所述目标分桶中的未拼接数据和已拼接数据生成。

9.根据权利要求8所述的装置，其特征在于，所述选择模块包括：

拼接方式确定单元，用于根据待拼接的目标数据的分桶关键字值，确定所述目标数据的拼接方式；

目标分桶确定单元，用于若所述目标数据的拼接方式为批量拼接，则将所述分桶关键字值与候选分桶关键字和候选分桶之间的关联关系进行匹配，以得到所述目标分桶。

10.根据权利要求9所述的装置，其特征在于，所述装置还包括：

实时拼接模块，用于若所述目标数据的拼接方式为实时拼接，则调用流式拼接服务将所述目标数据拼接入库。

11.根据权利要求8所述的装置，其特征在于，所述拼接触发事件根据数据拼接精度、所述目标分桶中的未拼接数据和已拼接数据生成。

12.根据权利要求11所述的装置，其特征在于，所述装置还包括事件触发模块，用于：

若任一数据分桶满足如下条件，则生成该数据分桶的拼接触发事件：

v_e/(v_e+v_b)＝1-α

其中v_e为该数据分桶的未拼接数据量、v_b为该数据分桶的已拼接数据量，α为所述数据拼接精度。

13.根据权利要求8所述的装置，其特征在于，所述数据分桶的大小根据最小拼接时间窗口和计算资源确定。