[发明专利]数据排重方法、装置、设备及存储介质

权利要求书

1.一种数据排重方法，其特征在于，所述数据排重方法包括：

在检测到应用程序的排重请求时，确定所述排重请求对应第一数据的第一关键信息，所述排重请求用于检查所述排重请求对应的排重数据中是否存在与所述第一数据重复的第二数据；

确定超级账本的世界状态中是否存在与所述第一关键信息一致的第二关键信息，所述超级账本中的世界状态用于存储关键信息；

若未存在所述第二关键信息，确定所述排重请求对应的排重数据中未存在与所述第一数据重复的第二数据。

2.根据权利要求1所述的数据排重方法，其特征在于，所述确定超级账本的世界状态中是否存在与所述第一关键信息一致的第二关键信息的步骤之后，所述方法包括：

若存在所述第二关键信息，获取所述世界状态中针对所述排重请求的返回数据；

根据所述返回数据，确定所述排重请求对应的排重数据中是否存在与所述第一数据重复的第二数据。

3.如权利要求2所述的数据排重方法，其特征在于，所述第一数据为话单文件，所述根据所述返回数据，确定所述排重请求对应的排重数据中是否存在与所述第一数据重复的第二数据的步骤，包括：

从所述排重请求中提取得到第一话单开始时间以及第一话单结束时间；

从所述返回数据中解析出第二话单开始时间和第二话单结束时间；

确定由所述第一话单开始时间以及第一话单结束时间构成的第一时间段，是否包含在由所述第二话单开始时间和所述第二话单结束时间构成的第二时间段内；

若包含在由所述第二话单开始时间和所述第二话单结束时间构成的第二时间段内，则确定排重请求对应排重数据中未存在与所述第一数据重复的第二数据。

4.如权利要求3所述的数据排重方法，其特征在于，所述确定由所述第一话单开始时间以及第一话单结束时间构成的第一时间段，是否包含在由所述第二话单开始时间和所述第二话单结束时间构成的第二时间段内的步骤之后，所述方法包括：

若未包含在由所述第二话单开始时间和所述第二话单结束时间构成的第二时间段内，则确定排重请求对应排重数据中存在与所述第一数据重复的第二数据；

若存在与所述第一数据重复的第二数据，则确定不存储所述第一数据对应的第一关键信息。

5.如权利要求1所述的数据排重方法，其特征在于，所述若未存在所述第二关键信息，确定所述排重请求对应的排重数据中未存在与所述第一数据重复的第二数据的步骤之后，所述方法包括：

获取应用程序提交的写入请求，其中，所述应用程序在确定未存在与所述第一数据重复的第二数据后，触发生成所述写入请求；

基于所述写入请求写入并保存所述第一数据；

将所述第一数据的第一关键信息保存至所述世界状态中。

6.如权利要求1-5任一项所述的数据排重方法，其特征在于，所述在检测到应用程序的排重请求时，确定所述排重请求对应第一数据的第一关键信息的步骤，包括：

在检测到应用程序的排重请求时，确定所述排重请求对应第一数据的用户标识、话单特征码、第一话单开始时间以及第一话单结束时间；

确定所述用户标识的第一散列值以及所述话单特征码的第二散列值；

基于所述第一散列值、所述第二散列值、所述第一话单开始时间以及第一话单结束时间，确定所述排重请求对应第一数据的第一关键信息。

7.如权利要求6所述的数据排重方法，其特征在于，所述确定所述用户标识的第一散列值以及所述话单特征码的第二散列值的步骤，包括：

对所述用户标识进行Md5取值，得到第一取值，将第一取值第一预设字符处的字符值作为第一散列值；

对所述话单特征码进行Md5取值，得到第二取值，将第二取值第二预设字符处的字符值作为第二散列值。