[发明专利]一种脏数据识别方法、装置和系统

说明书

本发明公开了一种脏数据识别方法、装置和系统，涉及计算机技术领域。该方法的一具体实施方式包括：接收或者生产数据，将业务主键相同的数据分发到同一个算子中；在同一个算子中，当所述算子处理所述数据时采用自增方式生成标签，并将所述标签加入到所述数据中，并将所述标签加入到所述数据中；将加入标签后的所述数据下发至消费方。该实施方式能够解决无法准确识别脏数据的技术问题。

技术领域

本发明涉及计算机技术领域，尤其涉及一种脏数据识别方法、装置和系统。

背景技术

在分布式实时数据处理过程中，数据到达计算算子的先后顺序可能会与事件发生的顺序有差异，正确处理这些差异造成的脏数据问题在实时应用中至关重要。

为了能区分数据发生的先后顺序，目前主要采用的方式是在数据中加入时间戳标签或者全局计数标签，通过比较标签的大小来区分数据的先后顺序。使用时间标签区分消息先后，需要给数据加入一个时间戳标签，处理数据时，通过对比时间戳确定消息先后顺序。使用全局计数标签区分消息先后，通过设计一个全局计数器，给每个数据加入计数标签，通过对比计算标签大小确定消息先后顺序。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

1)使用时间标签区分消息先后：在分布式环境下，不同机器的本地时间会存在差异，维护全局一致的时间比较困难，很容易成为处理瓶颈。尤其是在高并发的情况下，可能会出现两条数据的时间戳一样的情况。

2)使用一个全局计数标签区分消息先后：为了保证计数的准确性，计数器的构建、设计模式采取“单例模式”，在分布式环境下难以支持高并发的情况。

因此，在分布式实时流处理过程中，数据到达的先后顺序不能保障，晚于后生成的数据到达算子的数据被称为脏数据。如果不能准确识别脏数据，就会发生脏数据覆盖正确数据的情况。

发明内容

有鉴于此，本发明实施例提供一种脏数据识别方法、装置和系统，以解决无法准确识别脏数据的技术问题。

为实现上述目的，根据本发明实施例的一个方面，提供了一种脏数据识别方法，包括：

接收或者生产数据，将业务主键相同的数据分发到同一个算子中；

在同一个算子中，当所述算子处理所述数据时采用自增方式生成标签，并将所述标签加入到所述数据中；

将加入标签后的所述数据下发至消费方。

可选地，所述标签包括生成标签时的时间戳和自增序列；

其中，所述自增序列基于所述算子的编号和算子的总数量生成。

可选地，所述自增序列以所述算子的编号作为初始值、且以算子的总数量作为步长进行递增。

另外，根据本发明实施例的另一个方面，提供了一种脏数据识别方法，包括：

接收生产方下发的数据，将业务主键相同的数据分发到同一个算子中；

在同一个算子中，基于所述数据的业务主键和标签，识别所述算子中的脏数据。

可选地，在同一个算子中，基于所述数据的业务主键和标签，识别所述算子中的脏数据，包括：

在同一个算子中，判断所述数据的业务主键是否在所述算子中出现过；

若是，则继续判断所述数据的标签是否小于所述算子中最后一次更新的标签；

若是，则认定所述数据为脏数据。

另外，根据本发明实施例的另一个方面，提供了一种脏数据识别装置，包括：

第一分发模块，用于接收或者生产数据，将业务主键相同的数据分发到同一个算子中；