[发明专利]数据采集方法和装置、计算机设备、存储介质

说明书

本实施例提供一种数据采集方法和装置、计算机设备、存储介质，应用于数据获取技术领域，通过获取预设的信息源，对所述预设的信息源进行抓包分析，得到第一信息数据，根据第一信息数据生成配置规则，并将所述配置规则存储到数据库，根据所述配置规则对所述预设的信息源进行采集以获取第二信息数据，能够实现对不同的数据采集任务的系统化管理。

技术领域

本发明涉及数据获取技术领域，尤其涉及一种数据采集方法和装置、计算机设备、存储介质。

背景技术

随着移动互联网的迅速发展，人们通过浏览移动智能终端的数据信息来获取日常生活技能和信息，客户端网络终端的信息量也在爆炸式增长，如何获取数据信息显得尤为重要。相关技术中，获取开源信息需要分别对每一个APP定制不同的采集策略，不能系统化的对信息源做处理。

发明内容

本公开实施例的主要目的在于提出一种数据采集方法和装置、计算机设备、存储介质，能够实现对不同的数据采集任务的系统化管理。

为实现上述目的，本公开实施例的第一方面提出了一种数据采集方法，包括：

获取预设的信息源；

对所述预设的信息源进行抓包分析，得到第一信息数据；

根据第一信息数据生成配置规则，并将所述配置规则存储到数据库；

根据所述配置规则对所述预设的信息源进行采集以获取第二信息数据。

在一些实施例，所述根据所述配置规则对所述预设的信息源进行采集以获取第二信息数据，包括：

根据所述配置规则生成目标任务，将所述目标任务加入任务队列中；

通过预设的任务接口将所述任务队列中的所述目标任务加入到消费队列中；

根据消费队列中的目标任务对所述预设的信息源进行采集以获取第二信息数据。

在一些实施例，所述通过预设的任务接口将所述任务队列中的所述目标任务加入到消费队列中，包括：

根据所述目标任务的任务类型将所述目标任务加入到消费队列中。

在一些实施例，所述根据消费队列中的目标任务对所述预设的信息源进行采集以获取第二信息数据，包括：

根据所述目标任务得到所述信息源的配置类型，所述配置类型包括加密配置和普通配置；

若所述配置类型为加密配置，则根据所述目标任务对所述信息源进行解密。

在一些实施例，所述根据消费队列中的目标任务对所述预设的信息源进行采集以获取第二信息数据，还包括：

对所述信息源的采集位置进行标记处理，以得到位置标记信息；

根据所述位置标记信息进行下一轮采集。

在一些实施例，所述根据消费队列中的目标任务对所述预设的信息源进行采集以获取第二信息数据，还包括：

根据消费队列中的目标任务对所述预设的信息源解析，以得到解析数据；

根据消费队列中的目标任务对所述预设的信息源进行再采集，以得到再采集数据；

根据所述解析数据和所述再采集数据，获取第二信息数据。

在一些实施例，在所述根据所述配置规则对所述预设的信息源进行采集以获取第二信息数据之后，所述方法还包括：

将所述第二信息数据发送到预设的目标位置。

本公开实施例的第二方面提出了一种数据采集装置，包括：