[发明专利]数据采集方法、装置及计算机可读存储介

说明书

本发明涉及一种大数据技术，揭露了一种数据采集方法，包括：获取目标采集网站，将所述目标采集网站按网站结构划分为不同的结构层次；根据所述不同的结构层次中的数据采集属性生成与所述不同的结构层次对应的数据采集规则项；获取所述不同的结构层次的底层数据框架；根据所述底层数据框架构建与所述目标采集网站具有相同结构层次的规则模板，将所述数据采集规则项添加至所述规则模板的对应层次中，在所述规则模板中利用每一个结构层次的数据采集规则项对所述目标采集网站对应结构层次的数据进行采集，得到目标数据集。本发明还提出一种数据采集装置、电子设备以及计算机可读存储介质。本发明可以解决数据的生成方法复杂并占用计算资源的问题。

技术领域

本发明涉及大数据技术领域，尤其涉及一种数据采集方法、装置、电子设备及计算机可读存储介质。

背景技术

数据采集是大数据、人工智能领域的基石，如网站开发人员往往会对网站的数据进行全面，完整的采集，采集过程耗费大量人力成本，占用大量计算资源。

目前业内大多采用八爪鱼及集搜客等数据采集工具进行数据采集，但是这些数据采集工具往往采用一套固定的数据采集规则。然而，网站上的数据包括不同的数据类型，采用的数据采集规则也不尽相同，因此，采用一套固定的数据采集规则不能保证进行数据采集时，可以完整的，精确的采集到类型不同的目标数据，从而造成数据采集的效率低下、采集精度低，且存在着数据采集的不完整的问题。

发明内容

本发明提供一种数据采集方法、装置、电子设备及计算机可读存储介质，其主要目的在于解决数据采集的方法效率低下、时效性慢、采集精度低，且存在着数据采集的不完整的问题。

为实现上述目的，本发明提供的一种数据采集方法，包括：

获取目标采集网站，将所述目标采集网站按网站结构划分为不同的结构层次；

根据所述不同的结构层次中的数据采集属性生成与所述不同的结构层次对应的数据采集规则项；

获取所述不同的结构层次的底层数据框架；

根据所述底层数据框架构建与所述目标采集网站具有相同结构层次的规则模板，将所述数据采集规则项添加至所述规则模板的对应层次中；

在所述规则模板中利用每一个结构层次的数据采集规则项对所述目标采集网站对应结构层次的数据进行采集，得到目标数据集。

可选地，所述根据所述底层数据框架构建与所述目标采集网站具有相同结构层次的规则模板，将所述数据采集规则项添加至所述规则模板的对应层次中，包括：

根据所述底层数据框架构建与所述目标采集网站对应的镜像结构层次；

将所述镜像结构层次按照所述目标采集网站的结构层次进行组合，得到组合规则模板；

对所述组合规则模板中不同的结构层次按照与所述目标采集网站对应的结构层次添加对应的数据采集规则项，得到所述规则模板。

可选地，所述在所述规则模板中利用每一个结构层次的数据采集规则项对所述目标采集网站对应结构层次的数据进行采集，得到目标数据集，包括：

从所述规则模板的最高结构层次开始，采用递归算法遍历所述规则模板的每一层，并在每一层中遍历每一个采集规则项，基于所述遍历操作选择所述规则模板中的每一个数据采集规则项，利用选择的数据采集规则项对所述目标采集网站规则模板中对应结构层次的数据进行采集；

若所述目标采集网站中某一层数据采集失败，直接跳转至下一个结构层次进行数据采集；

若所述目标采集网站中某一层数据采集成功，将所述目标采集网站中该层结构层次的采集数据输出至一个预设存储空间，并跳转至下一个结构层次进行数据采集；