[发明专利]一种数据清洗方法、装置、设备及存储介质

权利要求书

1.一种数据清洗方法，其特征在于，包括：

获取业务数据，所述业务数据包括人脸影像；

根据所述业务数据和预置算法筛选出待处理业务数据；

确定需要使用到的目标函数的目标标识；

生成脚本配置信息，所述脚本配置信息中包括所述目标标识和与所述目标标识对应的参数信息；

根据所述脚本配置信息从函数库中调用与所述目标标识对应的函数，并生成自动化脚本；

通过所述自动化脚本对所述待处理业务数据进行人脸识别；

确定不符合预置要求的目标数据；

将所述目标数据进行删除。

2.根据权利要求1所述的数据清洗方法，其特征在于，所述通过所述自动化脚本对所述待处理业务数据进行人脸识别包括：

通过所述自动化脚本对所述待处理业务数据进行活体检测；

通过所述自动化脚本对所述待处理业务数据进行人证比对。

3.根据权利要求2所述的数据清洗方法，其特征在于，所述通过所述自动化脚本对所述待处理业务数据进行活体检测包括：

通过所述自动化脚本调用活体检测接口；

通过所述活体检测接口判断所述待处理业务数据是否包含人脸影像；

若所述待处理业务数据中包含人脸影像，则获取所述活体检测接口的检测参数值；

判断所述检测参数值是否大于预设的阈值；

若所述检测参数值大于或等于预设的阈值，则确定所述待处理业务数据为有效数据；

若所述检测参数值小于预设的阈值，则确定所述待处理业务数据为无效数据。

4.根据权利要求2所述的数据清洗方法，其特征在于，所述通过所述自动化脚本对所述待处理业务数据进行人证比对包括：

通过所述自动化脚本调用人证比对接口；

通过所述人证比对接口调用数据库中预置的证件照片；

判断所述待处理业务数据和所述证件照片是否属于同一人；

若所述待处理业务数据和所述证件照片属于同一人，则确定所述待处理业务数据为真实数据；

若所述待处理业务数据和所述证件照片不属于同一人，则确定所述待处理业务数据为虚假数据。

5.根据权利要求1-4中任一所述的数据清洗方法，其特征在于，所述确定不符合预置要求的目标数据包括：

若所述待处理业务数据为无效数据或虚假数据，则确定所述待处理业务数据为目标数据，所述目标数据为不符合预置要求的数据。

6.根据权利要求1-4中任一所述的数据清洗方法，其特征在于，所述方法还包括：

配置所述自动化脚本的开始运行时刻和运行持续时长。

7.根据权利要求1-4中任一所述的数据清洗方法，其特征在于，所述根据所述业务数据和预置算法筛选出待处理业务数据包括：

通过预置的特征识别算法和预置的相似度匹配算法对数据库中的业务数据进行筛选；

筛选出问题数据，所述问题数据为不可识别的数据；

将所述问题数据从所述业务数据中删除，得到待处理业务数据。

8.一种数据清洗装置，其特征在于，包括：

获取单元，用于获取业务数据，所述业务数据包括人脸影像；

筛选单元，用于根据所述业务数据和预置算法筛选出待处理业务数据；

第一确定单元，用于确定需要使用到的目标函数的目标标识；

第一生成单元，用于生成脚本配置信息，所述脚本配置信息中包括所述目标标识和与所述目标标识对应的参数信息；

第二生成单元，用于根据所述脚本配置信息从函数库中调用与所述目标标识对应的函数，并生成自动化脚本；

识别单元，用于通过所述自动化脚本对所述待处理业务数据进行人脸识别；

第二确定单元，用于确定不符合预置要求的目标数据；

删除单元，用于将所述目标数据进行删除。