[发明专利]数据预处理方法、设备和存储介质

权利要求书

1.一种数据预处理方法，其特征在于，该方法包括：

监测原始数据所在的路径；

当检测到存在未处理的原始数据后，根据配置文件中预设的各个步骤执行顺序，执行各个步骤对应的预处理脚本或程序；

其中，所述配置文件中预设有数据预处理的所有步骤及其执行顺序、各个步骤对应的数据输入路径、数据输出路径、以及预处理脚本或程序。

2.根据权利要求1所述的数据预处理方法，其特征在于，所述预处理脚本或程序采用相同或者不相同的程序语言实现，用于对数据输入路径下的数据进行预处理，并将处理结果保存到所述数据输出路径。

3.根据权利要求1所述的数据预处理方法，其特征在于，所述预处理脚本或程序包括入口脚本、以及至少一个子任务脚本或程序，其中：

所述入口脚本用于定义所述至少一个子任务脚本或程序的执行顺序；

所述子任务脚本或程序是一系列按预设的规则进行编写的实现该步骤功能的子任务的脚本或程序。

4.根据权利要求2所述的数据预处理方法，其特征在于，所述根据配置文件中预设的各个步骤执行顺序，执行各个步骤对应的预处理脚本或程序包括：

按照所述配置文件中预设的各个步骤的执行顺序，依次扫描每个步骤的数据输入路径；

当所述步骤的数据输入路径下存在未处理的中间数据时，调用所述步骤的对应的入口脚本以执行所述至少一个子任务脚本或程序。

5.根据权利要求1所述的数据预处理方法，其特征在于，所述执行各个步骤对应的预处理脚本或程序之后，还包括：

删除各个步骤对应的所述数据输入路径下已处理的中间数据。

6.根据权利要求1所述的数据预处理方法，其特征在于，所述配置文件中还预设有用户地址，所述用户地址包括用户邮箱。

7.根据权利要求2所述的数据预处理方法，其特征在于，所述方法还包括：当所述方法执行完成、或者当每一步骤执行完成或失败时，通过所述用户地址向用户反馈提示信息。

8.根据权利要求1-7所述的数据预处理方法，其特征在于，所述原始数据包括图像，所述图像包括人脸图像、车辆图像、或车牌图像。

9.一种数据预处理设备，其特征在于，该数据预处理设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，该所述计算机程序被所述处理器执行时，实现如权利要求1至8中任一项所述的数据预处理方法的步骤。

10.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时，实现如权利要求1至8中任一项所述的数据预处理方法的步骤。