[发明专利]数据传输方法和系统

说明书

本公开提供了一种数据传输方法，包括：生成第一时间段内的m个数据变动消息，所述数据变动消息包括变动数据的标识信息，m≥1；获取所述第一时间段对应的第一标示位，所述第一标示位具有初始值；利用所述m个变动数据的标识信息更新第一标示位的值，得到第一标示位的一次变更值；将所述第一时间段内的m个数据变动消息发送至接收端，以供接收端利用其接收的n个变动数据的标识信息将所述第一标示位的值由一次变更值更新为二次变更值，n≥1，m与n相同或不相同；获取所述第一标示位的二次变更值，并根据所述第一标示位的初始值和二次变更值判断传输过程中是否有遗漏消息。

技术领域

本公开涉及互联网技术领域，更具体地，涉及一种数据传输方法和系统。

背景技术

随着互联网应用的发展，用户量的激增，数据存储数量呈指数递增，为了提供不同的数据服务，同一种数据经常需要在不同的数据源异构出多份，其中一个数据源的数据发生变动，需要将数据变动消息传输至其他数据源，发送策略可以配置为每条同步发送或者异步发送。

在实现本发明公开构思的过程中，发明人发现现有技术中至少存在如下问题：每条同步发送可以保证消息的绝对可靠，不会丢消息，但是会大大影响消息的吞吐量，无法应用与大数据量的场景；异步发送能够适应大数据量的场景，但是会存在丢失消息的风险。因此，如何使数据传输过程同时具备高吞吐量和可靠性成为亟需解决的技术问题。

发明内容

有鉴于此，本公开提供了一种数据传输方法，包括：生成第一时间段内的m个数据变动消息，所述数据变动消息包括变动数据的标识信息，m≥1；获取所述第一时间段对应的第一标示位，所述第一标示位具有初始值；利用所述m个变动数据的标识信息更新第一标示位的值，得到第一标示位的一次变更值；将所述第一时间段内的m个数据变动消息发送至接收端，以供接收端利用其接收的n个变动数据的标识信息将所述第一标示位的值由一次变更值更新为二次变更值，n≥1，m与n相同或不相同；获取所述第一标示位的二次变更值，并根据所述第一标示位的初始值、一次变更值和二次变更值中的至少两者判断传输过程中是否有遗漏消息。

根据本公开的实施例，所述利用所述m个变动数据的标识信息更新第一标示位的值包括：从第一标示位的初始值开始，依次利用所述m个变动数据的标识信息与第一标示位的值进行第一运算；所述利用其接收的n个变动数据的标识信息将所述第一标示位的值由一次变更值更新为二次变更值包括：从第一标示位的一次变更值开始，依次利用其接收的n个变动数据的标识信息与第一标示位的值进行第二运算，得到第一标示位的二次变更值。

根据本公开的实施例，所述第一运算和第二运算包括异或运算。

根据本公开的实施例，所述变动数据的标识信息包括变动数据的主键和数据产生变动的时间。

根据本公开的实施例，根据所述第一标示位的初始值、一次变更值和二次变更值中的至少两者判断传输过程中是否有遗漏消息包括：根据所述第一标示位的初始值和二次变更值判断传输过程中是否有遗漏消息；所述根据所述第一标示位的初始值和二次变更值判断传输过程中是否有遗漏消息包括：在所述初始值与二次变更值相同的情况下，判断为无遗漏消息；在所述初始值与二次变更值不相同的情况下，判断为有遗漏消息。

根据本公开的实施例，数据传输方法还包括：在传输过程中有遗漏消息的情况下，补发所述第一时间段内生成的m个数据变动消息至接收端。

根据本公开的实施例，数据传输方法还包括：在传输过程中有遗漏消息的情况下，利用第一时间段内的m个变动数据逐个与第一标示位的二次变更值进行第二运算，运算结果为初始值的变动数据为遗漏数据；补发所述遗漏数据至接收端。