[发明专利]数据清洗方法、装置、设备及介质

权利要求书

1.一种数据清洗方法，其特征在于，包括以下步骤：

获取原始数据，所述原始数据为IP攻击信息；

删除超过预设时间段的原始数据，得到第一有效数据，将第一有效数据存入ES库，并生成第一有效数据的识别ID；

根据预设关键词对所述第一有效数据进行筛选，得到第二有效数据，并保留第一有效数据的识别ID；

生成所述第二有效数据的哈希值；

根据所述第二有效数据的哈希值，进行哈希去重，得到目标数据。

2.如权利要求1所述的数据清洗方法，其特征在于，获取原始数据，包括以下步骤：

根据ES库的mapping规则，采集原始数据，所述mapping规则为定义采集数据类型及数据字段的规则；

根据采集时的时间，对所述的原始数据添加时间戳；

将所述原始数据添加到ES库的索引中。

3.如权利要求1所述的数据清洗方法，其特征在于，根据预设关键词对所述第一有效数据进行筛选，得到第二有效数据，包括以下步骤：

根据预设关键词，通过ES库的Scroll功能查询所述第一有效数据，命中的数据为第二有效数据。

4.如权利要求1或3所述的数据清洗方法，其特征在于，所述预设关键词包括IP、时间、攻击类型、数据来源及被攻击IP信息。

5.如权利要求1所述的数据清洗方法，其特征在于，生成所述的第二有效数据的哈希值，包括以下步骤：

通过哈希运算生成第二有效数据的唯一值；

返回所述唯一值的摘要，作为所述第二有效数据的哈希值。

6.如权利要求1或5所述的数据清洗方法，其特征在于，根据所述第二有效数据的哈希值，进行哈希去重，得到目标数据，包括以下步骤：

根据生成的哈希值及其对应第二有效数据的识别ID建立去重字典，所述哈希值作为去重字典的关键字，所述识别ID作为去重字典的数组；

当不同的识别ID有相同的哈希值时，只建立一个该哈希值的去重字典，将所有识别ID添加到该哈希值去重字典的数组中；

判断去重字典数组中的识别ID数量：

当识别ID数量大于1时，只保留一个识别ID，保留的识别ID对应的第二有效数据为目标数据；

当识别ID数量等于1时，该识别ID对应的第二有效数据为目标数据。

7.如权利要求1所述的数据方法，其特征在于，根据所述第二有效数据的哈希值，进行哈希去重，得到目标数据之后，还包括以下步骤：

根据IP攻击信息对所述的目标数据进行加权计算；

筛选出高于预设权重的目标数据。

8.一种数据清洗装置，其特征在于，其包括：

获取模块，用于获取原始数据，所述原始数据为IP攻击信息；

第一清洗模块，用于删除超过预设时间段的原始数据，得到第一有效数据，将第一有效数据存入ES库，并生成第一有效数据的识别ID；

第二清洗模块，用于根据预设关键词对所述第一有效数据进行筛选，得到第二有效数据，并保留第一有效数据的识别ID；

数据处理模块，用于生成所述的第二有效数据的哈希值；

去重模块，用于根据所述第二有效数据的哈希值，进行哈希去重，得到目标数据。

9.一种电子设备，其包括处理器、存储介质以及计算机程序，所述计算机程序存储于存储介质中，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7任一项所述的数据清洗方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7任一项所述的数据清洗方法。