[发明专利]基于延迟时间的分布式消息处理方法、装置和系统

说明书

本发明涉及一种基于延迟时间的分布式消息处理方法、装置和系统，方法包括：获取待延迟消费数据和待延迟消费数据对应的延迟时长；待延迟消费数据和延迟时长均携带有待延迟消费数据被发送的初始时间片；将延迟时长存储到配置中心，将待延迟消费数据存储到分布式存储集群；根据当前时间和配置中心存储的所有延迟时长，确定每个初始时间片对应的索引时间片；按照预设检测周期检测分布式存储集群，将得到的每个与索引时间片匹配的待延迟消费数据均作为待消费数据；将所有待消费数据进行消费。采用本方案，用户预先设置待延迟消费数据对应的延迟时长，再将延迟时长存储到配置中心，能够动态设置延迟时长，提高消息延时消费的灵活度和实用性。

技术领域

本发明涉及消息处理技术领域，具体涉及一种基于延迟时间的分布式消息处理方法、装置和系统。

背景技术

互联网公司都会有这样一些需求场景，某条数据需要在一个特定的延迟时间后处理，延时处理该数据的消息即为延迟消息，延迟消息也叫定时消息，是指需要在一段时间后被消费的消息。

现有技术中，对于延时消息的利用，仅仅是延时消息发出后，选择固定的时间点进行消息消费，导致消息延时消费的灵活度较低，延时消息消费的实用性较低。

发明内容

有鉴于此，本发明的目的在于提供一种基于延迟时间的分布式消息处理方法、装置和系统，以解决现有技术中的对于延时消息的利用，仅仅是延时消息发出后，选择固定的时间点进行消息消费，导致消息延时消费的灵活度较低，延时消息消费的实用性较低问题。

为实现以上目的，本发明采用如下技术方案：

一种基于延迟时间的分布式消息处理方法，包括：

获取待延迟消费数据和所述待延迟消费数据对应的延迟时长；所述待延迟消费数据和所述延迟时长均携带有所述待延迟消费数据被发送的初始时间片；

将所述延迟时长存储到配置中心，将所述待延迟消费数据存储到分布式存储集群；

根据当前时间和所述配置中心存储的所有延迟时长，确定每个所述初始时间片对应的索引时间片；

按照预设检测周期，对所述分布式存储集群进行检测，将得到的每个与所述索引时间片相匹配的所述待延迟消费数据均作为待消费数据；

将所有所述待消费数据进行立即消费。

进一步地，上述基于延迟时间的分布式消息处理方法中，所述将所述待消费数据进行立即消费，包括：

获取预先存储到所述配置中心的执行线程数；

利用根据所述执行线程数设置的执行线程，对所述待消费数据进行消费。

进一步地，上述基于延迟时间的分布式消息处理方法，还包括：

接收所述待消费数据的消费反馈；

若所述待消费数据的消费反馈表示消费未成功，将所述待消费数据的消费次数加一，并判断所述消费次数是否超出预先存储到所述配置中心的预设重试次数；

若所述消费次数超出所述预设重试次数，则将所述待消费数据从所述分布式存储集群转移到预先设置的死信队列中，以便对所述待消费数据进行人工干预处理；

若所述消费次数未超出所述预设重试次数，则重新将所述待消费数据存储到所述分布式存储集群中，以便对所述待消费数据进行重新消费。

进一步地，上述基于延迟时间的分布式消息处理方法中，所述接收所述待消费数据的消费反馈之后，还包括：

若所述待消费数据的消息反馈表示消费成功，则将所述待消费数据从所述分布式存储集群移除。

进一步地，上述基于延迟时间的分布式消息处理方法，还包括：