[发明专利]一种数据写入Kafka的方法、装置及设备

权利要求书

1.一种数据写入Kafka的方法，其特征在于，包括：

步骤1：分批次消费数据源Kafka的Topic的数据，在数据库中检索当前任务的批次号，如果数据库中存在所述批次号，则执行步骤2；否则，向所述数据库中插入当前任务的批次号及其状态信息，并设置合并标识为否定标识，执行步骤3；

步骤2：如果当前批次任务执行状态为任务开始，则设置合并标识为肯定标识，执行步骤3；如果当前批次任务执行状态为任务成功，则设置合并标识为否定标识，执行步骤6；

步骤3：读取最近批次的数据源Kafka的Topic的偏移量，从所述偏移量开始消费数据源Kafka的Topic的数据；

步骤4：每条消费的数据对应生成一个Key，将所述消费的数据和对应的Key写入目标存储Kafka的Topic；

步骤5：判断所述合并标识是否为肯定标识，如果是，则对数据进行合并，执行步骤6；否则，更新当前批次任务的状态信息，执行步骤6；

步骤6：保存当前批次的数据源Kafka的Topic的偏移量。

2.根据权利要求1所述的方法，其特征在于，所述每条消费的数据对应生成一个Key，包括：

将每条数据对应的Topic名称、分区以及偏移量的字段按特定顺序顺次拼接为一个字符串，形成该条数据的Key。

3.根据权利要求1所述的方法，其特征在于，在所述对数据进行合并时，判断待合并的数据中是否存在相同的Key，如果是，则从Key相同的数据中，根据每条数据的写入时间戳，保留最新的一条数据；否则，在数据合并时保留每条数据。

4.根据权利要求1所述的方法，其特征在于，所述状态信息包括任务执行状态，所述任务执行状态用于标识当前批次任务的执行状态；所述任务执行状态包括任务开始和任务成功。

5.一种数据写入Kafka的装置，其特征在于，包括：

第一判断模块，用于分批次消费数据源Kafka的Topic的数据，在数据库中检索当前任务的批次号，如果数据库中存在所述批次号，则调用第二判断模块；否则，向所述数据库中插入当前任务的批次号及其状态信息，并设置合并标识为否定标识，调用消费模块；

第二判断模块，用于判断如果当前批次任务的状态为任务开始，则设置合并标识为肯定标识，调用消费模块；如果当前批次任务的状态为任务成功，则设置合并标识为否定标识，调用保存模块；

消费模块，用于读取最近批次的数据源Kafka的Topic的偏移量，从所述偏移量开始消费数据源Kafka的Topic的数据；

生成模块，用于每条消费的数据对应生成一个Key，将所述消费的数据和对应的Key写入目标存储Kafka的Topic；

第三判断模块，用于判断所述合并标识是否为肯定标识，如果是，则对数据进行合并，调用保存模块；否则，更新当前批次任务的状态信息，调用保存模块；

保存模块，用于保存当前批次的数据源Kafka的Topic的偏移量。

6.根据权利要求5所述的装置，其特征在于，所述生成模块，进一步用于将每条数据对应的Topic名称、分区以及偏移量的字段顺次拼接为一个字符串，形成该条数据的Key。

7.根据权利要求5所述的装置，其特征在于，所述第三判断模块，还包括：

合并模块，用于在所述对数据进行合并时，判断待合并的数据中是否存在相同的Key，如果是，则从Key相同的数据中，根据每条数据的写入时间戳，保留最新的一条数据；否则，在数据合并时保留每条数据。

8.根据权利要求5所述的装置，其特征在于，所述状态信息包括任务执行状态，所述任务执行状态用于标识当前批次任务的执行状态；所述任务执行状态包括任务开始和任务成功。

9.一种电子设备，包括存储器和处理器，所述存储器上存储有计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1～4中任一项所述的方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1～4中任一项所述的方法。