[发明专利]一种数据处理方法、装置、设备及存储介质

权利要求书

1.一种数据处理方法，其特征在于，包括：

通过DNS采集服务器接入流量数据包，获取DNS流量数据，并对所述DNS流量数据进行处理转换解析，解析出包含域名、类型、解析IP、时间的基本参数信息作为DNS解析数据；

利用所述DNS采集服务器对所述DNS解析数据进行白名单过滤；

将经过白名单过滤后的数据接入kafka的topic；

采用flink读取kafka的数据，根据flink设置的时间窗口进行数据过滤去重；

将经过flink过滤后的数据中的解析IP映射到Bitmap中进行数据重过滤。

2.根据权利要求1所述的数据处理方法，其特征在于，所述将经过flink过滤后的数据中的解析IP映射到Bitmap中进行数据重过滤，包括：

将经过flink过滤后的数据中的解析IP映射到Bitmap的bit数组中；

判断在所述bit数组中是否已存在当前的映射数据；

若是，则直接过滤掉与所述映射数据对应的所述DNS解析数据；

若否，则建立相关映射，并将所述映射数据对应的所述DNS解析数据存入数据库。

3.根据权利要求2所述的数据处理方法，其特征在于，还包括：

每日定时任务清除Bitmap数据；

对于同一IP以每日固定时间点为界限，对Bitmap数据进行更新。

4.根据权利要求3所述的数据处理方法，其特征在于，在所述进行数据重过滤的同时，还包括：

对数据进行白名单过滤；

在所述每日定时任务清除Bitmap数据的同时，还包括：

接入或更新白名单数据。

5.一种数据处理装置，其特征在于，包括：

采集解析模块，用于通过DNS采集服务器接入流量数据包，获取DNS流量数据，并对所述DNS流量数据进行处理转换解析，解析出包含域名、类型、解析IP、时间的基本参数信息作为DNS解析数据；利用所述DNS采集服务器对所述DNS解析数据进行白名单过滤；

数据过滤模块，用于将经过白名单过滤后的数据接入kafka的topic；采用flink读取kafka的数据，根据flink设置的时间窗口进行数据过滤去重；

数据重过滤模块，用于将经过flink过滤后的数据中的解析IP映射到Bitmap中进行数据重过滤。

6.一种数据处理设备，其特征在于，包括处理器和存储器，其中，所述处理器执行所述存储器中存储的计算机程序时实现如权利要求1至4任一项所述的数据处理方法。

7.一种计算机可读存储介质，其特征在于，用于存储计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述的数据处理方法。