[发明专利]数据处理方法、装置、电子设备及可读存储介质

说明书

本申请提供一种数据处理方法、装置、电子设备及可读存储介质，涉及数据处理技术领域。该方法包括：读取配置文件，所述配置文件包括对目标数据的存储格式信息的校验规则；利用所述配置文件对所述目标数据的存储格式信息进行校验，获得校验结果；确定所述校验结果中所述存储格式信息中存在有误的目标信息；输出所述目标信息。本方案可快速对目标数据中的有误信息进行定位，这样可避免在利用处理脚本进行格式转换时由于遇到错误而崩溃使得需要人工耗时耗力去排查崩溃原因的问题。

技术领域

本申请涉及数据处理技术领域，具体而言，涉及一种数据处理方法、装置、电子设备及可读存储介质。

背景技术

目前，在不同的需求场景下会对数据的存储格式的要求可能不同，例如，针对指纹数据来说，其数据来源有多种，包括新机器试用数据、手机厂商数据和测试人员数据等。不同来源的数据的存储格式可能有很大不同，而为了便于对这些数据进行后续处理，需要将这些数据的存储格式转换为算法人员需求的格式，目前是通过处理脚本进行格式转换。

但是，由于数据存储过程中有大量人为参与的过程，导致文件的存储格式不可避免地存在很多错误，如文件放错目录、目录命名错误等，这使得处理脚本在运行时遇到这些错误会导致程序崩溃，需要人工去耗时耗力地查找其程序崩溃的原因。

发明内容

本申请实施例的目的在于提供一种数据处理方法、装置、电子设备及可读存储介质，用以改善现有技术中处理脚本在运行时遇到这些错误会导致程序崩溃，而需要人工去耗时耗力地查找其程序崩溃的原因的问题。

第一方面，本申请实施例提供了一种数据处理方法，所述方法包括：

读取配置文件，所述配置文件包括对目标数据的存储格式信息的校验规则；

利用所述配置文件对所述目标数据的存储格式信息进行校验，获得校验结果；

确定所述校验结果中所述存储格式信息中存在有误的目标信息；

输出所述目标信息。

在上述实现过程中，通过利用配置文件对目标数据的存储格式信息进行校验，获得目标数据中存在有误的目标信息，如此可快速对目标数据中的有误信息进行定位，这样可避免在利用处理脚本进行格式转换时由于遇到错误而崩溃使得需要人工耗时耗力去排查崩溃原因的问题。

可选地，所述利用所述配置文件对所述目标数据的存储格式信息进行校验，获得校验结果，包括：

解析获得所述目标数据的存储路径以及所述存储路径下的各个存储节点；

利用所述配置文件对所述存储路径以及所述各个存储节点的存储格式信息进行校验，获得校验结果。

在上述实现过程中，对目标数据的存储路径和各个存储节点进行校验，则可对存储格式信息中有误的信息进行更全面地定位。

可选地，所述利用所述配置文件对所述存储路径以及所述各个存储节点的存储格式信息进行校验，获得校验结果，包括：

利用所述配置文件对所述各个存储节点的节点信息以及最底层存储节点下的目标数据的存储格式信息进行校验，获得第一校验结果；

利用所述配置文件对所述存储路径的数据存储组织格式进行校验，获得第二校验结果；

其中，所述校验结果包括所述第一校验结果和所述第二校验结果。

在上述实现过程中，对目标数据的存储路径的各个存储节点的节点信息和存储节点下的目标数据进行校验，以及对存储路径的数据存储组织格式进行校验，从而可对各个存储节点的错误进行更全面地定位。

可选地，所述利用所述配置文件对所述各个存储节点的节点信息进行校验，获得第一校验结果，包括：