[发明专利]一种数据清洗方法及系统

说明书

技术领域

本发明涉及数据处理技术领域，尤其涉及一种数据清洗方法及系统。

背景技术

数据清洗是发现并纠正数据文件中可识别的错误的最后一道程序，包括检查数据一致性，处理无效值和缺失值等。因为数据仓库中的数据是面向某一主题的数据的集合，这些数据从多个业务系统中抽取而来而且包含历史数据，这样就避免不了有的数据是错误数据、有的数据相互之间有冲突，这些错误的或有冲突的数据显然是我们不想要的，称为“脏数据”。我们要按照一定的规则把“脏数据”“洗掉”，这就是数据清洗。

数据清洗的任务是为了将很多种不同的信息安全检测的工具统一成平台专用格式，并且提取有用的数据，用于后续流程的数据流转。

举例来说，平台会使用大量的开源工具对企业内部资源进行探测及评估，由于各工具的指令格式及结果数据格式不统一，导致不利于数据的收集与整理，所以使用数据清洗组件对此进行处理。数据清洗为发现、过滤及转换不符要求信息的数据处理过程，针对各开源工具的命令重写和工具运行结果数据的一致性检查，并对结果数据的无效值、缺少值、重复数据的处理与规格化。

目前，通常是针对两个或多个检测工具编写一个统一的接口，这种方式难以拓展，而且每次需要修改内核代码，通过以发布新的版本来增加新的工具或接口。

有鉴于此，现有技术有待改进和提高。

发明内容

鉴于上述现有技术的不足之处，本发明的目的在于提供一种数据清洗方法及系统，旨在解决现有数据清理方法难以拓展的问题。

为了达到上述目的，本发明采取了以下技术方案：

一种数据清洗方法，其中，包括以下步骤：

S1、程序运行后，构建待清洗数据源；其中，所述带清洗数据源为JSON格式，且符合IP的正常字段；

S2、根据工具脚本提取待清洗数据源中有用的数据生成相应的命令，运行后再通过实时返回或者回调方式得到运行后的数据源。

所述的数据清洗方法，其中，所述步骤S1中的待清洗数据源包括：IP、URL、操作系统、漏洞名称以及对应的网址或网络域名。

所述的数据清洗方法，其中，还包括步骤S3、根据工具脚本提取运行后的数据源的运行结果，进行一致性判断、无效处理、缺少值处理和/或重复值处理，得到清洗后的数据源。

所述的数据清洗方法，其中，所述运行后的数据源中还包括工具结果。

所述的数据清洗方法，其中，所述S2中回调方式具体包括：将待清洗数据源和任务放入队列中，提取所述任务后运行返回工具结果到对应的运行后的数据源。

一种数据清洗系统，其中，包括：

构建单元，用于在程序运行后，构建待清洗数据源；其中，所述带清洗数据源为JSON格式，且符合IP的正常字段；

命令生成单元，用于根据工具脚本提取待清洗数据源中有用的数据生成相应的命令，运行后再通过实时返回或者回调方式得到运行后的数据源。

所述的数据清洗系统，其中，所述构建单元中的待清洗数据源包括：IP、URL、操作系统、漏洞名称以及对应的网址或网络域名。

所述的数据清洗系统，其中，还包括：后置处理单元，用于根据工具脚本提取运行后的数据源的运行结果，进行一致性判断、无效处理、缺少值处理和/或重复值处理，得到清洗后的数据源。

所述的数据清洗系统，其中，所述运行后的数据源中还包括工具结果。

所述的数据清洗系统，其中，所述命令生成单元中回调方式具体包括：将待清洗数据源和任务放入队列中，提取所述任务后运行返回工具结果到对应的运行后的数据源。

有益效果：本发明提供的数据清洗方法及系统，其中，所述方法包括：首先，程序运行后构建待清洗数据源；再根据工具脚本提取待清洗数据源中有用的数据生成相应的命令，运行后再通过实时返回或者回调方式得到运行后的数据源。其容易拓展，适应能力强，不会因为工具的更新换代而导致整个系统重新编译，是目前非常可行的解决方案，具有很好的市场推广应用前景。

附图说明

图1为本发明的数据清洗方法的流程图。

图2为本发明的数据清洗系统的结构框图。

具体实施方式

本发明提供一种数据清洗方法及系统。为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。