[发明专利]一种数据去重方法及设备

权利要求书

1.一种数据去重方法，其中，所述方法包括：

获取当前日期之前产生的所有历史数据及其对应的历史发生时间、第一数据类型及所属第一用户，并对所述所有历史数据进行去重处理，得到至少一条历史无重数据及其对应的历史发生时间及所属第一用户；

获取当前日期内所产生的所有的新增数据及其对应的当前发生时间、第二数据类型及所属第二用户，并对所述所有的新增数据进行去重处理，得到至少一条新增无重数据及其对应的当前发生时间及所属第二用户；

基于所述历史发生时间、所述第一用户、所述当前发生时间及所述第二用户，对所述至少一条历史无重数据和所述至少一条新增无重数据进行全关联操作，得到截止所述当前日期的至少两条综合无重数据及其对应的最新时间。

2.根据权利要求1所述的方法，其中，所述对所述所有历史数据进行去重处理，得到至少一条历史无重数据及其对应的历史发生时间及所属第一用户，包括：

根据所属第一用户的不同，对所述所有历史数据进行分组，得到每个所述第一用户的至少一条历史数据及其对应的历史发生时间和数据类型；

按照所述历史发生时间的先后顺序，分别对每个所述第一用户的至少一条历史数据进行排序；并分别将每个所述第一用户的至少一条历史数据中的、每种第一数据类型对应的历史数据中排序第一的历史数据作为历史无重数据，同时，分别将每个所述第一用户的至少一条历史数据中的、每种第一数据类型对应的历史数据中除所述排序第一的历史数据以外的历史数据进行去重处理，得到至少一条历史无重数据及其对应的历史发生时间及所属第一用户。

3.根据权利要求1所述的方法，其中，所述对所述所有的新增数据进行去重处理，得到至少一条新增无重数据及其对应的当前发生时间及所属第二用户，包括：

根据所属第二用户的不同，对所述所有新增数据进行分组，得到每个所述第二用户的至少一条新增数据及其对应的当前发生时间和第二数据类型；

按照所述当前发生时间的先后顺序，分别对每个所述第二用户的至少一条新增数据进行排序；并分别将每个所述第二用户的至少一条新增数据中的、每种第二数据类型对应的新增数据中排序第一的新增数据作为新增无重数据，同时，分别将每个所述第二用户的至少一条新增数据中的、每种第二数据类型对应的新增数据中除所述排序第一的新增数据以外的新增数据进行去重处理，得到至少一条新增无重数据及其对应的当前发生时间及所属第二用户。

4.根据权利要求1所述的方法，其中，所述基于所述历史发生时间、所述第一用户、所述当前发生时间及所述第二用户，对所述至少一条历史无重数据和所述至少一条新增无重数据进行全关联操作，得到截止所述当前日期的至少两条综合无重数据及其对应的最新时间，包括：

将每条所述历史无重数据，分别与所述至少一条新增无重数据中的每条所述新增无重数据进行关联，并在关联的所述历史无重数据与所述新增无重数据属于同一用户时，将所述历史无重数据对应的历史发生时间更新为所述新增无重数据对应的当前发生时间，以得到截止所述当前日期的至少两条综合无重数据及其对应的最新时间。

5.一种非易失性存储介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行时，使所述处理器实现如权利要求1至4中任一项所述的方法。

6.一种数据去重设备，其中，该设备包括：

一个或多个处理器；

计算机可读介质，用于存储一个或多个计算机可读指令，

当所述一个或多个计算机可读指令被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1至4中任一项所述的方法。