[发明专利]一种数据清洗方法及系统

权利要求书

1.一种数据清洗方法，其特征在于，包括以下步骤：

S1、程序运行后，构建待清洗数据源；其中，所述带清洗数据源为JSON格式，且符合IP的正常字段；

S2、根据工具脚本提取待清洗数据源中有用的数据生成相应的命令，运行后再通过实时返回或者回调方式得到运行后的数据源。

2.根据权利要求1所述的数据清洗方法，其特征在于，所述步骤S1中的待清洗数据源包括：IP、URL、操作系统、漏洞名称以及对应的网址或网络域名。

3.根据权利要求1或2所述的数据清洗方法，其特征在于，还包括步骤S3、根据工具脚本提取运行后的数据源的运行结果，进行一致性判断、无效处理、缺少值处理和/或重复值处理，得到清洗后的数据源。

4.根据权利要求3所述的数据清洗方法，其特征在于，所述运行后的数据源中还包括工具结果。

5.根据权利要求3所述的数据清洗方法，其特征在于，所述S2中回调方式具体包括：将待清洗数据源和任务放入队列中，提取所述任务后运行返回工具结果到对应的运行后的数据源。

6.一种数据清洗系统，其特征在于，包括：

构建单元，用于在程序运行后，构建待清洗数据源；其中，所述带清洗数据源为JSON格式，且符合IP的正常字段；

命令生成单元，用于根据工具脚本提取待清洗数据源中有用的数据生成相应的命令，运行后再通过实时返回或者回调方式得到运行后的数据源。

7.根据权利要求6所述的数据清洗系统，其特征在于，所述构建单元中的待清洗数据源包括：IP、URL、操作系统、漏洞名称以及对应的网址或网络域名。

8.根据权利要求6或7所述的数据清洗系统，其特征在于，还包括：后置处理单元，用于根据工具脚本提取运行后的数据源的运行结果，进行一致性判断、无效处理、缺少值处理和/或重复值处理，得到清洗后的数据源。

9.根据权利要求8所述的数据清洗系统，其特征在于，所述运行后的数据源中还包括工具结果。

10.根据权利要求8所述的数据清洗系统，其特征在于，所述命令生成单元中回调方式具体包括：将待清洗数据源和任务放入队列中，提取所述任务后运行返回工具结果到对应的运行后的数据源。