[发明专利]一种脏数据识别方法、装置和系统

权利要求书

1.一种脏数据识别方法，其特征在于，应用于生产方，包括：

接收或者生产数据，将业务主键相同的数据分发到同一个算子中；

在同一个算子中，当所述算子处理所述数据时采用自增方式生成标签，并将所述标签加入到所述数据中；

将加入标签后的所述数据下发至消费方。

2.根据权利要求1所述的方法，其特征在于，所述标签包括生成标签时的时间戳和自增序列；

其中，所述自增序列基于所述算子的编号和算子的总数量生成。

3.根据权利要求2所述的方法，其特征在于，所述自增序列以所述算子的编号作为初始值、且以算子的总数量作为步长进行递增。

4.一种脏数据识别方法，其特征在于，应用于消费方，包括：

接收生产方下发的数据，将业务主键相同的数据分发到同一个算子中；

在同一个算子中，基于所述数据的业务主键和标签，识别所述算子中的脏数据。

5.根据权利要求4所述的方法，其特征在于，在同一个算子中，基于所述数据的业务主键和标签，识别所述算子中的脏数据，包括：

在同一个算子中，判断所述数据的业务主键是否在所述算子中出现过；

若是，则继续判断所述数据的标签是否小于所述算子中最后一次更新的标签；

若是，则认定所述数据为脏数据。

6.一种脏数据识别装置，其特征在于，包括：

第一分发模块，用于接收或者生产数据，将业务主键相同的数据分发到同一个算子中；

标签模块，用于在同一个算子中，当所述算子处理所述数据时采用自增方式生成标签，并将所述标签加入到所述数据中；

下发模块，用于将加入标签后的所述数据下发至消费方。

7.一种脏数据识别装置，其特征在于，包括：

第二分发模块，用于接收生产方下发的数据，将业务主键相同的数据分发到同一个算子中；

识别模块，用于在同一个算子中，基于所述数据的业务主键和标签，识别所述算子中的脏数据。

8.一种脏数据识别方法，其特征在于，包括：

生产方接收或者生产数据，将业务主键相同的数据分发到同一个算子中；在同一个算子中，当所述算子处理所述数据时采用自增方式生成标签，并将所述标签加入到所述数据中；将加入标签后的所述数据下发至消费方；

消费方接收生产方下发的数据，将业务主键相同的数据分发到同一个算子中；在同一个算子中，基于所述数据的业务主键和标签，识别所述算子中的脏数据。

9.一种脏数据识别系统，其特征在于，包括：

生产方，用于接收或者生产数据，将业务主键相同的数据分发到同一个算子中；在同一个算子中，当所述算子处理所述数据时采用自增方式生成标签，并将所述标签加入到所述数据中；将加入标签后的所述数据下发至消费方；

消费方，用于接收生产方下发的数据，将业务主键相同的数据分发到同一个算子中；在同一个算子中，基于所述数据的业务主键和标签，识别所述算子中的脏数据。

10.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-5中任一所述的方法。

11.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-5中任一所述的方法。