[发明专利]数据预处理方法、设备和存储介质

说明书

本发明实施例公开了一种数据预处理方法、设备和存储介质，属于数据预处理领域。其中，该方法包括：监测原始数据所在的路径；当检测到存在未处理的原始数据后，根据配置文件中预设的各个步骤执行顺序，执行各个步骤对应的预处理脚本或程序；其中，配置文件中预设有数据预处理的所有步骤及其执行顺序、各个步骤对应的数据输入路径、数据输出路径、以及预处理脚本或程序。本发明实施例通过将各个步骤进行标准化，各个步骤之间由数据驱动，由预处理脚本或程序从数据输入路径读取数据，将生成的结果保存到数据输出路径，从而能适用各种各样数据及各种程序脚本语言，同时，也无需用户轮询各步骤的执行结果，减少了各个步骤之间执行结果的等待。

技术领域

本发明涉及数据预处理领域，特别涉及一种人工智能的数据预处理方法、设备和存储介质。

背景技术

人工智能模型训练需要的训练数据来源众多，数据文件格式各种各样，数据内容五花八门、数据处理的脚本或者程序也各不相同，必须经过预处理后，才能用于人工智能模型训练。不同任务(人脸、人形、车辆)，不同算法，比如在人脸识别，MTCNN(Multi-taskconvolutional neural networks，将多任务级联卷积神经网络)需要编写不同的预处理脚本、所需要的预处理步骤也不相同、脚本运行的时间有长有短。

目前，数据预处理聚焦在具体一个步骤，着眼在文件格式、不同字段类型的自动化处理，对预处理各个步骤没有标准化，各个步骤之间基本是手工运行，针对处理耗时较长的步骤，还需要人工轮询查看生成结果，下一个步骤需要等待上一个步骤预处理输出的中间数据。

发明内容

有鉴于此，本发明实施例的目的在于提供一种数据预处理方法、设备和存储介质，以解决对预处理各个步骤没有标准化，各个步骤之间基本是手工运行，针对处理耗时较长的步骤，还需要人工轮询查看生成结果的技术问题。

本发明解决上述技术问题所采用的技术方案如下：

根据本发明实施例的一个方面，提供的一种数据预处理方法包括：

监测原始数据所在的路径；

当检测到存在未处理的原始数据后，根据配置文件中预设的各个步骤执行顺序，执行各个步骤对应的预处理脚本或程序；

其中，所述配置文件中预设有数据预处理的所有步骤及其执行顺序、各个步骤对应的数据输入路径、数据输出路径、以及预处理脚本或程序。

根据本发明实施例的另一个方面，提供给的一种数据预处理设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，该所述计算机程序被所述处理器执行时，实现上述数据预处理方法的步骤。

根据本发明实施例的再一个方面，还提供了一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时，实现上述数据预处理方法的步骤。

本发明实施例的数据预处理方法、设备和存储介质，通过将各个步骤的执行任务的脚本或程序当作黑盒，每个黑盒接收预处理脚本或程序、数据输入路径、以及数据输出路径。各个步骤之间由数据驱动，由预处理脚本或程序从数据输入路径读取数据，将生成的结果保存到数据输出路径，从而实现标准化，能适用各种各样数据及各种程序脚本语言。同时，无需用户轮询各步骤的执行结果，减少了步骤间的等待。

附图说明

图1为本发明实施例一提供的一种数据预处理方法的流程图；

图2为本发明实施例一提供的一种配置文件的示意图；

图3为本发明实施例二提供的一种数据预处理方法的流程图；

图4为本发明实施例三提供的一种人脸识别预处理方法的流程图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。