[发明专利]数据处理方法、装置、电子设备及存储介质

说明书

本公开提供了一种数据处理方法、装置、电子设备及存储介质，包括：对每日采集到的流量数据进行分类，得到分类结果，按照分类结果，对类别不同的流量数据分别按照流量大小依次排名，根据每个待选设备的设备参数，对多个该待选设备进行加权排名，根据每个该流量数据在所在分类结果中的排名，在多个该待选设备中选择与该流量数据排名一致的待选设备处理，利用该待选设备处理对应的该流量数据。可以根据流量数据的类型和大小，选择出最适合的设备去处理流量数据。解决设备性能过剩或者性能过低无法处理流量数据的问题，实现处理效率的最大化。

技术领域

本申请涉及计算机技术领域，尤其涉及一种数据处理方法、装置、电子设备及存储介质。

背景技术

在传统的流量预处理过程中，通常采用一个设备去处理流量数据，容易出现设备性能过低，无法处理采集到的流量数据的情况，或者，使用性能较好的设备去处理流量较小的流量数据的现象。

发明内容

本申请的主要目的在于提供一种数据处理方法、装置、电子设备及存储介质，可选择合适的设备去处理流量数据，合理利用资源。

为实现上述目的，本申请实施例第一方面提供一种数据处理方法，包括：

对每日采集到的流量数据进行分类，得到分类结果；

按照分类结果，对类别不同的流量数据分别按照流量大小依次排名；

根据每个待选设备的设备参数，对多个所述待选设备进行加权排名；

根据每个所述流量数据在所在分类结果中的排名，在多个所述待选设备中选择与所述流量数据排名一致的待选设备处理；

利用所述待选设备处理对应的所述流量数据。

可选的，所述对每日采集到的流量数据进行分类，得到分类结果包括：

将每日采集到的流量数据分类为netflow流量数据和全流量数据。

可选的，所述根据每个待选设备的设备参数，对多个所述待选设备进行加权排名之前，包括：

分别获取每个类别下，流量最大的流量数据；

分别筛选出每个类别下可用于处理所述流量最大的流量数据的全部待选设备。

可选的，所述根据每个待选设备的设备参数，对多个所述待选设备进行加权排名包括：

根据每个所述待选设备的cpu个数、内存大小，硬盘类型和大小，计算每个所述待选设备处理流量数据的处理能力；

根据每个所述待选设备处理流量数据的处理能力，对多个所述待选设备进行加权排名。

可选的，所述利用所述待选设备处理对应的所述流量数据包括：

利用所述待选设备对所述netflow流量数据进行地址段整合、地址后缀及其他用户信息的脱敏预处理操作；

利用所述待选设备对所述全流量数据进行地址、源端口、目的端口、URL数据以及其他用户信息的脱敏预处理操作。

可选的，还包括：

建立每个所述流量数据在所在分类结果中的排名与每个所述待选设备在多个所述待选设备中的排名的对应关系；

将所述对应关系存储到日志表中。

可选的，还包括：

当获取到流量大小与当日的日志表中存储的任一流量数据一致的待处理流量数据时，根据所述对应关系，选择与所述日志表中存储的所述流量数据对应的待选设备处理所述待处理流量数据。

本申请实施例第二方面提供一种数据处理装置，包括：