[发明专利]一种流数据合并处理方法及装置

权利要求书

1.一种流数据合并处理方法，其特征在于，包括如下步骤：

消息队列接收到流数据；

读取消息队列中查询数据流主题的数据，并提取公共身份识别，同时将查询事件主体作为一组键值对应存放在类数据库中；

接收消息队列中的主数据流；

基于主数据流中的待合并数据流事件，获取对应的主键信息及主键的状态；

将查询数据流与主数据流合并。

2.根据权利要求1所述的流数据合并处理方法，其特征在于，所述主键的状态包括：阻塞、完成、未知、失败和正常；

如果获取到的主键的状态为阻塞状态，那么表示有其他的状态管理模块正在处理这条请求，直接跳过该请求处理下一条；

如果获取到的主键的状态为完成状态，那么表示该事件已经有其他模块处理完成，将完成的状态写回；

其他状态情况下，将该主键的状态修改为阻塞后写入状态存储，并继续后续流程；

对于返回错误的情况，将该事件推回到消息队列中的重试队列中，等待一定事件后再重新处理。

3.根据权利要求1所述的流数据合并处理方法，其特征在于，所述将查询数据流与主数据流合并，包括：

对于正常的主键状态，数据流会进行合并处理，如果合并成功，得到已合并的数据流，将其写入到消息队列中的已合并的主题中，待对其进行存储，并把该消息的状态写为完成；

如果合并失败，将该消息也写入消息队列中的重试队列，消息的状态修改为失败，重试次数加一，重试次数超过一定数量之后就不再进行写回处理。

4.一种流数据合并处理方法装置，其特征在于，包括：

消息队列模块，用于接收到流数据；

数据流读取模块，用于读取消息队列中查询数据流主题的数据，并提取公共身份识别，同时将查询事件主体作为一组键值对应存放在类数据库中；

状态管理模块，用于接收消息队列中的主数据流；

查询获取模块，用于基于主数据流中的待合并数据流事件，获取对应的主键信息及从状态存储模块中获取主键的状态；

数据流合并模块，将查询数据流与主数据流合并。

5.根据权利要求1所述的流数据合并处理方法装置，其特征在于，所述主键的状态包括：阻塞、完成、未知、失败和正常；

如果查询获取模块获取到的主键的状态为阻塞状态，那么表示有其他的状态管理模块正在处理这条请求，直接跳过该请求处理下一条；

如果查询获取模块获取到的主键的状态为完成状态，那么表示该事件已经有其他模块处理完成，将完成的状态写回；

如果查询获取模块获取到的主键的状态为其他状态情况下，将该主键的状态修改为阻塞后写入状态存储模块，并继续后续流程；

对于查询获取模块查询时返回错误的情况，将该事件推回到消息队列模块中的重试队列中，等待一定事件后再重新处理。

6.根据权利要求1所述的流数据合并处理装置，其特征在于，所述数据流合并模块，用于将查询获取模块获取的主键状态正常的数据流进行合并处理，如果合并成功，得到已合并的数据流，将其写入到消息队列中的已合并的主题中，待对其进行存储，并把该消息的状态写为完成；

如果合并失败，将该消息也写入消息队列中的重试队列，消息的状态修改为失败，重试次数加一，重试次数超过一定数量之后就不再进行写回处理。

7.一种流数据合并处理装置，其特征在于，包括：一个或多个处理器及存储器，所述存储器存储有程序，并且被配置成由所述一个或多个处理器执行以下步骤：

消息队列接收到流数据；

读取消息队列中查询数据流主题的数据，并提取公共身份识别，同时将查询事件主体作为一组键值对应存放在类数据库中；

接收消息队列中的主数据流；

基于主数据流中的待合并数据流事件，获取对应的主键信息及主键的状态；

将查询数据流与主数据流合并。

8.一种计算机可读存储介质，所述计算机可读存储介质包含计算机可执行的程序，所述程序可被处理器执行以完成以下步骤：

消息队列接收到流数据；

读取消息队列中查询数据流主题的数据，并提取公共身份识别，同时将查询事件主体作为一组键值对应存放在类数据库中；

接收消息队列中的主数据流；

基于主数据流中的待合并数据流事件，获取对应的主键信息及主键的状态；

将查询数据流与主数据流合并。