[发明专利]数据清洗方法、装置、计算机可读存储介质及电子设备

说明书

本发明的实施方式提供了一种数据清洗方法、数据清洗装置、计算机可读存储介质及电子设备，涉及数据处理技术领域，该方法包括：在多个清洗进程启动时，确定各所述清洗进程的清洗标识；对一目标标识与所述清洗标识进行匹配；如果所述目标标识与所述清洗标识匹配成功，则通过所述清洗标识对应的所述清洗进程对所述目标标识对应的报文进行清洗以实现所述多个清洗进程间的隔离。该方法实现了多个清洗进程之间的相互隔离，提高了数据清洗的效率。

技术领域

本发明的实施方式涉及数据处理技术领域，更具体地，本发明的实施方式涉及数据清洗方法、数据清洗装置、计算机可读存储介质及电子设备。

背景技术

本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

随着大数据的发展，在金融服务、电商平台、或者是游戏应用等用户基数大、可用性要求高的网站中，一般会对DDoS(Distributed Denial of Service，分布式拒绝服务攻击)进行防御，以避免DDoS影响网络瘫痪以及系统可靠性的问题。

相关技术中，DDoS的防御一般通过集群化的方式实现。具体而言，参考图2中所示，基于通用服务器和通用网卡即可开发一套数据包的接收和发送框架，然后再加上数据包清洗逻辑，就可以形成一台清洗服务器。集群中每台清洗服务器处理一部分流量，通过横向扩展的方式，集群能够处理的流量可以不断增大。

发明内容

在现有方案中，依赖集群式清洗服务器进行数据清洗时，由于多个清洗标识之间不能相互隔离，因此多个清洗标识之间的清洗过程会相互影响，例如某个清洗标识的流量中的特殊报文如果触发程序的缺陷，导致进程崩溃，则会导致其他清洗标识的流量也将无法正常处理，因此这种方式降低了数据清洗效率。除此之外，由于处理特殊报文需要消耗较多的CPU资源，会使得其他清洗标识的数据得不到及时处理，导致出现丢包或者延迟等问题，降低了数据清洗的准确率，从而导致可靠性较差。因此在现有技术中，快速准确地进行数据清洗是非常令人烦恼的过程。

为此，非常需要一种改进的数据清洗方法，以使得能够高效、可靠、准确地对多个清洗标识的数据进行清洗。

在本上下文中，本发明的实施方式期望提供一种数据清洗方法、数据清洗装置、计算机可读存储介质及电子设备。

在本发明实施方式的第一方面中，提供了一种数据清洗方法，包括：在多个清洗进程启动时，确定各所述清洗进程的清洗标识；对一目标标识与所述清洗标识进行匹配；如果所述目标标识与所述清洗标识匹配成功，则通过所述清洗标识对应的所述清洗进程对所述目标标识对应的报文进行清洗以实现所述多个清洗进程间的隔离。

在本发明的一个实施例中，确定各所述清洗进程的清洗标识包括：为各所述清洗进程分别分配所述清洗标识。

在本发明的一个实施例中，对一目标标识与所述清洗标识进行匹配包括：通过一报文收发框架对所述目标标识和所述清洗标识进行匹配。

在本发明的一个实施例中，所述报文收发框架基于网卡驱动或数据平面开发套件建立。

在本发明的一个实施例中，所述方法还包括：在所述报文收发框架中为各所述清洗进程分别提供专属缓存。

在本发明的一个实施例中，如果所述目标标识与所述清洗标识匹配成功，则通过所述清洗标识对应的所述清洗进程对所述目标标识对应的报文进行清洗以实现所述多个清洗进程间的隔离包括：将所述目标标识对应的报文分配至所述清洗进程对应的所述专属缓存；通过所述清洗进程从所述专属缓存中获取所述目标标识对应的报文，以对所述目标标识对应的报文进行清洗。

在本发明的一个实施例中，所述方法还包括：如果所述目标标识与所述清洗标识匹配失败，则丢弃所述目标标识对应的报文。

在本发明的一个实施例中，所述专属缓存通过生产者消费者模型处理报文。