[发明专利]一种检测数据丢失的方法及系统

说明书

本申请公开了一种检测数据丢失的方法及系统，所述方法包括获取生产者将数据写入到主题TOPIC中的数据条数作为生产偏移量，获取消费者从所述TOPIC中消费的数据的数据条数作为消费偏移量；判断所述生产偏移量与所述消费偏移量是否一致；若否，则确定所述消费者在消费所述TOPIC中数据过程中存在数据丢失。本申请提供的技术方案可以获取生产偏移量和消费偏移量，然后比较生产偏移量和消费偏移量是否一致，进而可以得知消费者在消费目标类TOPIC中数据过程中时存在数据丢失。

技术领域

本申请涉及计算机技术领域，特别是涉及一种检测数据丢失的方法及系统。

背景技术

Kafka是一种高吞吐量的分布式发布订阅消息系统，在Kafka中包括生产者、消费者和主题TOPIC。生产者在写入数据时，会将数据发布到目标类TOPIC，消费者通常以消费者组的形式从目标类TOPIC消费数据，消费者组包括多个消费者。

消费者在消费目标类TOPIC中全部数据后，可以保证需要处理的数据均被处理。但是，生产者写入的数据中存在不符合规则的数据时，消费者会直接跳过该部分数据，导致该部分数据无法被消费者消费，也就是说该部分数据被丢失。

但是，消费者在消费目标类TOPIC中数据过程中，无法得知是否存在丢数据的问题。

发明内容

为了解决上述技术问题，本申请提供了一种检测数据丢失的方法及系统，可以得知消费者在消费目标类TOPIC中数据过程中时存在数据丢失。

本申请实施例公开了如下技术方案：

第一方面，本申请提供了一种检测数据丢失的方法，包括：

获取生产者将数据写入到主题TOPIC中的数据条数作为生产偏移量，获取消费者从所述TOPIC中消费的数据的数据条数作为消费偏移量；判断所述生产偏移量与所述消费偏移量是否一致；若否，则确定所述消费者在消费所述TOPIC中数据过程中存在数据丢失

可选的，在所述消费者消费所述TOPIC中数据后，若所述生产偏移量与所述消费偏移量一致；所述方法还包括：获取所述TOPIC中的数据被存储为所述HDFS文件的数据条数作为分布式HDFS文件偏移量；判断所述HDFS文件偏移量与所述消费偏移量是否一致；若否，则生成第二反馈信息，所述第二反馈信息指示所述TOPIC中的数据被存储为所述HDFS文件过程中存在数据丢失。

可选的，在所述消费者消费所述TOPIC中数据后，若所述生产偏移量与所述消费偏移量一致；所述方法还包括：获取所述TOPIC中的数据参与实时计算的数据条数作为实时计算偏移量；判断所述实时计算偏移量与所述消费偏移量是否一致；若否，则生成第三反馈信息，所述第三反馈信息指示所述TOPIC中的数据参与实时计算过程中存在数据丢失。

可选的，所述方法还包括：当判断所述生产偏移量与所述消费偏移量不一致时，获取所述生产偏移量与所述消费偏移量的第一差值；若所述第一差值大于第一预设阈值，则将所述第一差值写入到所述第一反馈信息中，所述第一反馈信息用于提示数据丢失的数量。

所述方法还包括：当所述HDFS文件偏移量与所述消费偏移量不一致时，获取所述HDFS文件偏移量与所述消费偏移量的第二差值；若所述第二差值大于第二预设阈值，则将所述第二差值写入到所述第二反馈信息中，所述第二反馈信息用于提示数据丢失的数量。

所述方法还包括：当所述实时计算偏移量与所述消费偏移量不一致时，获取所述实时计算偏移量与所述消费偏移量的第三差值；若所述第三差值大于第三预设阈值，则将所述第三差值写入到所述第三反馈信息中，所述第三反馈信息用于提示数据丢失的数量。