[发明专利]一种kafka消息处理方法及系统

说明书

本发明实施例提供一种kafka消息处理方法及系统，该方法包括：接收上游系统发送的携带有ID标识的第一kafka消息，判断第一kafka消息是否对应于上游系统中的第一流程节点；若是，直接消费第一kafka消息；若否，查询归档数据库中是否存在携带有ID标识的kafka消息，若是，按照归档顺序依次消费后再消费第一kafka消息，若否，查询已消费的数据中是否存在ID标识，若是，直接消费第一kafka消息。本发明实施例针对需要顺序处理的、带有过期时间的不可重复消费的数据，提供了可重复消费的解决方案，可以不用区分实时数据和归档数据，实现用一个处理系统进行处理，提高了数据处理效率，节省了人力成本。

技术领域

本发明涉及数据处理技术领域，具体涉及一种kafka消息处理方法及系统。

背景技术

目前，经常具有两个数据系统中一个为上游系统，一个为下游系统，下游系统的数据处理受到上游系统传输的kafka消息的约束的情况。但是kafka消息是有有效期的，业界针对这种需要顺序处理的可过期的且不可重复消费的数据，主要是(以业务系统为例)：接入业务系统前签署的业务单，仍在线下办理，不接入业务系统。但这样一来，就达不到提业务作业效率的目的，同时还会给业务人员增加记录哪些业务单可以在业务系统办理，哪些需要线下办理的麻烦，造成人力成本的浪费。

发明内容

为解决现有技术中的问题，本发明实施例提供一种kafka消息处理方法及系统。

第一方面，本发明实施例提供一种kafka消息处理方法，该方法包括：下游系统接收上游系统发送的第一kafka消息；其中，所述上游系统发送的kafka消息均携带有ID标识，所述ID标识用于区分不同主体的数据，且与所述ID标识对应的主体已接入所述下游系统；判断所述第一kafka消息是否为所述上游系统中的第一流程节点对应的kafka消息；若是，则直接消费所述第一kafka消息；若否，则查询归档数据库中是否存在携带有所述ID标识的kafka消息，若存在，则按照归档顺序依次消费所述归档数据库中存储的所述kafka消息，然后再消费所述第一kafka消息，若不存在，则查询已消费的数据中是否存在所述ID标识，若已消费的数据中存在所述ID标识，则直接消费所述第一kafka消息；其中，所述归档数据库用于存储来自于所述上游系统的未被消费的kafka消息。

进一步地，在所述按照归档顺序依次消费所述归档数据库中存储的所述kafka消息之后，所述方法还包括：将所述归档数据库中存储的所述kafka消息删除。

进一步地，所述方法还包括：若所述已消费的数据中不存在所述ID标识，则丢弃所述第一kafka消息。

进一步地，在所述ID标识对应的主体接入所述下游系统之前，所述方法还包括：所述下游系统接收所述上游系统发送的第二kafka消息，所述第二kafka消息携带有所述ID标识；判断所述第二kafka消息是否为所述上游系统中的所述第一流程节点对应的kafka消息；若是，则将所述第二kafka消息存储入所述归档数据库；若否，则查询所述归档数据库中是否存在携带有所述ID标识的kafka消息，若是，则将所述第二kafka消息存储入所述归档数据库。

进一步地，所述方法还包括：若所述归档数据库中不存在携带有所述ID标识的kafka消息，则丢弃所述第二kafka消息。

进一步地，所述上游系统为合同系统，所述下游系统为交易系统，所述第一流程节点为签署合同节点。

进一步地，所述ID标识包括城市标识。