[发明专利]消息传输方法、装置、设备及存储介质

说明书

本发明实施例公开了一种消息传输方法、装置、设备及存储介质。所述方法包括：根据从消息提供方获取的当前消息数据，向输出设备发送当前消息传输报文，其中所述当前消息传输报文中包括所述当前消息数据和传输进度信息；在系统处于正常传输状态过程中，获取所述输出设备在向消息存储方发送所述当前消息数据之后，反馈的确认接收报文；向持久化存储系统发送所述确认接收报文中的传输进度信息，供持久化存储系统存储所述当前消息数据的传输进度信息，作为当前消息数据的输入进度信息。采用本实施例的方案可以在不对消息数据持久化的同时，保证消息数据和系统传输进度的一致性，避免系统异常导致的消息丢失、消息重复问题，提高了消息传输效率。

技术领域

本发明实施例涉及数据处理技术领域，尤其涉及一种消息传输方法、装置、设备及存储介质。

背景技术

在分布式数据传输系统中，机器故障、系统更新、强依赖抖动以及其它偶发错误，都可能导致系统重启。目标主要基于ETL机制，通过对每条消息的流式传输系统的订阅进度系统的水位和消息数据进行事务性的持久化，保障强一致性。这样消息数据在流式传输系统，流式系统和文件系统中各存了一份，浪费了资源。并且，由于对数据进行备份，还导致数据传输速率低。

发明内容

鉴于上述问题，本发明实施例中提供了一种消息传输方法、装置、设备及存储介质，以实现在不对消息数据持久化的同时，保证消息数据和系统传输进度的一致性。

第一方面，本发明实施例中提供了一种消息传输方法，由输入设备执行，所述方法包括：

根据从消息提供方获取的当前消息数据，向输出设备发送当前消息传输报文，其中所述当前消息传输报文中包括所述当前消息数据和传输进度信息；

在系统处于正常传输状态过程中，获取所述输出设备在向消息存储方发送所述当前消息数据之后，反馈的确认接收报文；

向持久化存储系统发送所述确认接收报文中的传输进度信息，供持久化存储系统存储所述当前消息数据的传输进度信息，作为当前消息数据的输入进度信息。

第二方面，本发明实施例中还提供了一种消息传输方法，由输出设备执行，所述方法包括：

在系统处于正常传输状态过程中，接收输入设备根据从消息提供方获取的当前消息数据所发射的当前消息传输报文，其中所述当前消息传输报文中包括所述当前消息数据和传输进度信息；

在向消息存储方发送所述当前消息数据之后，向输入设备反馈确认接收报文，供所述输入设备向持久化存储系统发送所述确认接收报文中的传输进度信息。

第三方面，本发明实施例中还提供了一种消息传输装置，配置于输入设备，所述装置包括：

传输报文发送模块，用于根据从消息提供方获取的当前消息数据，向输出设备发送当前消息传输报文，其中所述当前消息传输报文中包括所述当前消息数据和传输进度信息；

反馈确认获取模块，用于在系统处于正常传输状态过程中，获取所述输出设备在向消息存储方发送所述当前消息数据之后，反馈的确认接收报文；

传输进度发送模块，用于向持久化存储系统发送所述确认接收报文中的传输进度信息，供持久化存储系统存储所述当前消息数据的传输进度信息，作为当前消息数据的输入进度信息。

第四方面，本发明实施例中还提供了一种消息传输装置，配置于输出设备，所述装置包括：

传输报文接收模块，用于在系统处于正常传输状态过程中，接收输入设备根据从消息提供方获取的当前消息数据所发射的当前消息传输报文，其中所述当前消息传输报文中包括所述当前消息数据和传输进度信息；

确认接收反馈模块，用于在向消息存储方发送所述当前消息数据之后，向输入设备反馈确认接收报文，供所述输入设备向持久化存储系统发送所述确认接收报文中的传输进度信息。