[发明专利]一种数据采集校验方法、装置、电子设备及存储介质

权利要求书

1.一种数据采集校验方法，其特征在于，所述方法包括：

根据预设的接口配置规则配置待接入数据的接入信息，所述接口配置规则包含所述待接入数据与所述接入信息的对应关系；

根据所述接入信息生成数据采集队列中的多个待采集数据项；

分别校验所述多个待采集数据项对应的采集数据文件，得到校验后的多个目标采集数据。

2.根据权利要求1所述的数据采集校验方法，其特征在于，所述根据预设的接口配置规则配置待接入数据的接入信息的步骤之前包括：

分别根据预设的数据调度信息访问各数据信息供应商对应的数据接入地址，所述数据调度信息包含对各所述数据信息供应商进行访问的时间；

分别读取各所述数据接入地址内的供应数据信息，得到各所述数据信息供应商提供的供应数据；

将各所述供应数据整合为所述待接入数据。

3.根据权利要求1所述的数据采集校验方法，其特征在于，所述接入信息包括：数据接口信息及校验方式信息，则所述根据预设的接口配置规则配置待接入数据的接入信息的步骤包括：

获取所述待接入数据的数据接入地址，及分析所述待接入数据的数据类型；

利用预设的所述接口配置规则配置所述数据接入地址对应的所述数据接口信息；

利用所述接口配置规则配置所述数据类型对应的所述校验方式信息；

将所述数据接口信息及所述校验方式信息确定为所述待接入数据对应的接入信息。

4.根据权利要求3所述的数据采集校验方法，其特征在于，所述根据所述接入信息生成数据采集队列中的多个待采集数据项的步骤包括：

分别提取所述接入信息中的所述数据接口信息及所述校验方式信息，所述数据接口信息包含所述待接入数据与数据接入地址的对应关系；

根据所述数据接口信息生成所述待接入数据对应的数据接口列表，所述数据接口列表包含所述待接入数据对应的所述数据接入地址；

将所述数据接口列表中所述数据接入地址与所述校验方式信息进行绑定，得到所述待接入数据对应的所述多个待采集数据项；

将所述多个待采集数据项下发至所述数据采集队列。

5.根据权利要求1所述的数据采集校验方法，其特征在于，所述分别校验所述多个待采集数据项对应的采集数据文件，得到校验后的多个目标采集数据的步骤包括：

分别根据所述数据采集队列中的所述多个待采集数据项下载对应的采集数据文件；

分别提取多个待采集数据项中的校验方式信息；

分别利用所述校验方式信息对各所述采集数据文件进行校验，得到校验后的多个目标采集数据。

6.根据权利要求5所述的数据采集校验方法，其特征在于，所述分别利用所述校验方式信息对各所述数据文件进行校验，得到校验后的多个目标采集数据的步骤包括：

解析所述采集数据文件，得到采集数据集合；

根据校验拆分信息对所述采集数据集合进行拆分，得到多条采集数据，其中，所述校验方式信息包括所述校验拆分信息及校验信息；

分别利用所述校验信息对多条所述采集数据进行校验，得到校验后的所述多个目标采集数据。

7.根据权利要求1所述的数据采集校验方法，其特征在于，所述分别校验所述多个待采集数据项对应的采集数据文件，得到校验后的多个目标采集数据的步骤之后包括：

分别分析所述多个目标采集数据对应的主题类型；

根据所述主题类型对所述多个目标采集数据进行去重；

将去重后的所述多个目标采集数据分别下发至目标数据队列，以提供数据服务。

8.一种数据采集校验装置，其特征在于，所述装置包括：

第一模块，用于根据预设的接口配置规则配置待接入数据的接入信息，所述接口配置规则包含所述待接入数据与所述接入信息的对应关系；

第二模块，用于根据所述接入信息生成数据采集队列中的多个待采集数据项；

第三模块，用于分别校验所述多个待采集数据项对应的采集数据文件，得到校验后的多个目标采集数据。