[发明专利]数据去重方法、装置、计算机设备以及存储介质

说明书

本发明实施例公开了一种数据去重方法、装置、计算机设备以及存储介质，所述方法包括：获取数据访问请求，并提取数据访问请求中的特征字段；对特征字段进行清洗，并将清洗后的特征字段进行规范化处理；对特征字段进行拼接，生成特征字段组合，对特征字段组合使用hash算法进行压缩处理；基于预设数据库集群对已压缩处理的特征字段进行识别，并根据识别结果判断特征字段是否为重复字段；若特征字段为重复字段，将特征字段存储至预设的异常处理队列中，否则输出提示消息，所述提示消息用于提示特征字段为正常字段。本发明基于数据处理提供一种数据去重方法，能够减轻大量重复数据对数据库资源的消耗，节省数据库内存空间，改善企业的声誉。

技术领域

本发明涉及计算机技术领域，尤其涉及一种数据去重方法、装置、计算机设备以及存储介质。

背景技术

目前，在与EMS(Express Mail Service，邮政特快专递)系统交互时，经常会从EMS系统中获得大量重复的快递物流动态信息，由于所获取的大量的快递物流动态信息需要进行存储，需要占用后台数据库的大量存储空间，造成后台数据库的存储压力非常大，在严重情况下，有可能会导致后台数据库无法正常工作，另外，由于后台数据库中大量的快递物流动态信息存在重复的信息，若没有经过一定的筛选或者去重处理便向相应的用户发送重复的物流短信或者其他物流消息推送，容易引起用户投诉，对企业声誉产生严重的影响。

发明内容

有鉴于此，本发明实施例提供一种数据去重方法、装置、计算机设备以及存储介质，能够减轻大量重复数据对数据库资源的消耗，节省数据库内存空间，进一步地，能够降低用户的投诉率，改善企业的声誉。

一方面，本发明实施例提供了一种数据去重方法，该方法包括：

获取数据访问请求，并提取所述数据访问请求中的特征字段；

对所述特征字段进行清洗，并将清洗后的特征字段进行规范化处理；

对所述特征字段进行拼接，生成特征字段组合，对所述特征字段组合使用hash算法进行压缩处理；

基于预设数据库集群对已压缩处理的特征字段进行识别，并根据识别结果判断所述特征字段是否为重复字段；

若所述特征字段为重复字段，将所述特征字段存储至预设的异常处理队列中，否则输出提示消息，所述提示消息用于提示所述特征字段为正常字段。

另一方面，本发明实施例提供了一种数据去重装置，所述装置包括：

获取单元，用于获取数据访问请求，并提取所述数据访问请求中的特征字段；

处理单元，用于对所述特征字段进行清洗，并将清洗后的特征字段进行规范化处理；

拼接处理单元，用于对所述特征字段进行拼接，生成特征字段组合，对所述特征字段组合使用hash算法进行压缩处理；

识别判断单元，用于基于预设数据库集群对已压缩处理的特征字段进行识别，并根据识别结果判断所述特征字段是否为重复字段；

存储输出单元，用于若所述特征字段为重复字段，将所述特征字段存储至预设的异常处理队列中，否则输出提示消息，所述提示消息用于提示所述特征字段为正常字段。

又一方面，本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的数据去重方法。

再一方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者一个以上计算机程序，所述一个或者一个以上计算机程序可被一个或者一个以上的处理器执行，以实现如上所述的数据去重方法。