[发明专利]一种数据传输方法

说明书

本发明公开了一种数据传输方法，所述方法应用于源消息队列集群，包括：确定所述源消息队列集群中源消费者所消费的当前消费数据；向目标消息队列集群发送包含所述当前消费数据的当前写入请求以及包含源消费位移的当前提交请求，所述当前写入请求用于请求将所述当前消费数据写入所述目标消息队列集群，所述当前提交请求用于请求将所述源消费位移提交至所述目标消息队列集群，所述源消费位移为所述消费数据在所述源消息队列集群中的消费位移，所述目标消息队列集群为所述源消息队列集群所连接的消息队列集群。该方法能够使目标消息队列集群在同一目标事务中，保证数据传输的一致性，进而提高数据传输的效率。

技术领域

本发明涉及通信技术领域，尤其涉及一种数据传输方法。

背景技术

随着业务的发展，越来越多的分布式部署架构下用户的业务系统分散在不同网络域内，为保证业务系统的可靠运行需要对其进行相关的可观测性分析，而可观测性分析需要保证数据传输的一致性。

现有传输方法中通过TCP、UDP或syslog等方式直接传输时，会受网络环境等方面的影响往往无法有效保证数据汇聚的一致性。而当接收端采用消息队列的方式进行传输时，则需要在确保数据送达后再提交消息队列的消费位移，但发送端可能无法准确获取数据送达的回调消息，将会导致数据的重复发送，使得接收端需要额外的程序来保证对重复数据的对比和剔除，故此类传输方法的传输效率较低。

发明内容

本发明提供了一种数据传输方法，以在保证数据传输一致性的基础上，提高数据传输的效率。

根据本发明的一方面，提供了一种数据传输方法，所述方法应用于源消息队列集群，包括：

确定所述源消息队列集群中源消费者所消费的当前消费数据；

向目标消息队列集群发送包含所述当前消费数据的当前写入请求以及包含源消费位移的当前提交请求，所述当前写入请求用于请求将所述当前消费数据写入所述目标消息队列集群，所述当前提交请求用于请求将所述源消费位移提交至所述目标消息队列集群，所述源消费位移为所述消费数据在所述源消息队列集群中的消费位移，所述目标消息队列集群为所述源消息队列集群所连接的消息队列集群。

可选的，在所述确定所述源消息队列集群中源消费者所消费的当前消费数据之前，还包括：

向所述目标消息队列集群发送位移读取请求，并接收所述目标消息队列集群返回的上一目标消费位移；

所述确定所述源消息队列集群中源消费者所消费的当前消费数据，包括：

基于所述上一目标消费位移确定所述源消息队列集群中源消费者所消费的当前消费数据。

可选的，在所述向目标消息队列集群发送包含所述当前消费数据的当前写入请求以及包含源消费位移的当前提交请求之后，还包括：

接收所述目标消息队列集群发送的响应信息，所述响应信息与所述当前提交请求对应。

可选的，在所述确定所述源消息队列集群中源消费者所消费的当前消费数据之前，还包括：

创建所述源消息队列集群的源消费者。

可选的，所述源消息队列集群为Kafka集群。

可选的，在所述确定所述源消息队列集群中源消费者所消费的当前消费数据之后，还包括：

若所述源消息队列集群与所述目标消息队列集群连接异常，则重新建立所述源消息队列集群与所述目标消息队列集群的连接，返回执行所述确定所述源消息队列集群中源消费者所消费的当前消费数据的步骤。

根据本发明的另一方面，提供了一种数据传输方法，所述方法应用于目标消息队列集群，包括：

接收源消息队列集群发送的包含当前消费数据的当前写入请求以及包含源消费位移的当前提交请求；