[发明专利]一种数据采集校验方法、装置、电子设备及存储介质

说明书

本发明公开了一种数据采集校验方法，包括：根据预设的接口配置规则配置待接入数据的接入信息，接口配置规则包含待接入数据与接入信息的对应关系；根据接入信息生成数据采集队列中的多个待采集数据项；分别利用校验多个待采集数据项对应的采集数据文件，得到校验后的多个目标采集数据。通过实施本方案，通过接口配置化的方式对所有待接入的数据配置接入信息，降低待接入数据的接入难度，依据接入信息生成待接入数据对应的多个待采集数据项，实现对所有的待接入数据的整合，此外，分别利用接入信息对待采集数据项进行校验，得到校验后的多个目标采集数据，实现对接入数据的分布式管理，提升对接入任务的管理效率，保证接入数据的可靠性。

技术领域

本发明涉及数据采集技术领域，尤其涉及一种数据采集校验方法、装置、电子设备及存储介质。

背景技术

随着大数据、云计算等互联网技术的发展，可通过终端的搜索业务获取相关数据信息，实现的数据共享或获取，这给用户、企业等带来极大的便利性。由于搜索业务对内容数据的依赖性极大，所以首先需要接入大量的CP(Content Provider)服务内容数据进行处理，以供后续的搜索业务进行搜索后呈现结果。

相关技术的CP数据接入的方式是通过定制化服务数据的接入形式，即未每一个CP数据提供一种接口，都是单服务的形式进行接入，数据接口无法实现接入多个内容数据，这使得需要对每个接口进行定向开发，提高接口开发难度，导致数据接入的难度高及接入任务的管理效率低，影响数据接入的可靠性。

发明内容

本申请提供了一种数据采集校验方法、装置、电子设备及存储介质，可以解决数据接口无法接入多个内容数据，导致数据接入的难度高及接入任务的管理效率低的技术问题。

本发明第一方面提供一种数据采集校验方法，所述方法包括：

根据预设的接口配置规则配置待接入数据的接入信息，所述接口配置规则包含所述待接入数据与所述接入信息的对应关系；

根据所述接入信息生成数据采集队列中的多个待采集数据项；

分别校验所述多个待采集数据项对应的采集数据文件，得到校验后的多个目标采集数据。

可选的，所述根据预设的接口配置规则配置待接入数据的接入信息的步骤之前包括：

分别根据预设的数据调度信息访问各数据信息供应商对应的数据接入地址，所述数据调度信息包含对各所述数据信息供应商进行访问的时间；

分别读取各所述数据接入地址内的供应数据信息，得到各所述数据信息供应商提供的供应数据；

将各所述供应数据整合为所述待接入数据。

可选的，所述接入信息包括：数据接口信息及校验方式信息，则所述根据预设的接口配置规则配置待接入数据的接入信息的步骤包括：

获取所述待接入数据的数据接入地址，及分析所述待接入数据的数据类型；

利用预设的所述接口配置规则配置所述数据接入地址对应的所述数据接口信息；

利用所述接口配置规则配置所述数据类型对应的所述校验方式信息；

将所述数据接口信息及所述校验方式信息确定为所述待接入数据对应的接入信息。

可选的，所述根据所述接入信息生成数据采集队列中的多个待采集数据项的步骤包括：

分别提取所述接入信息中的所述数据接口信息及所述校验方式信息，所述数据接口信息包含所述待接入数据与数据接入地址的对应关系；

根据所述数据接口信息生成所述待接入数据对应的数据接口列表，所述数据接口列表包含所述待接入数据对应的所述数据接入地址；