[发明专利]一种数据采集方法及装置

摘要

本发明提供了一种数据采集方法及装置，其中，方法包括：获取对应目标网站的数据采集策略、数据采集模型以及初始URL地址；从数据库中获取对应目标网站的第一业务数据；根据数据采集策略采集对应初始URL地址的至少一个下级URL地址，并根据采集每一个下级URL地址的时间顺序构建数据采集队列；确定数据采集队列中对应第一业务数据的目标URL地址；根据数据采集队列顺序加载目标URL地址之后的每一个下级URL地址分别对应的第一目标网页，根据数据采集模型分别采集每一个第一目标网页分别对应的第二业务数据，将每一条第二业务数据存储至数据库中。通过本发明的技术方案，可节约数据库的存储空间。

主权项

一种数据采集方法，其特征在于，包括：当针对相同目标网站再次进行数据采集业务时，获取对应所述目标网站的数据采集策略、数据采集模型以及初始统一资源定位符URL地址；从数据库中获取对应所述目标网站的第一业务数据，其中，所述第一业务数据为针对所述目标网站的前次数据采集过程中最后一条存储至所述数据库的业务数据；根据所述数据采集策略采集对应所述初始URL地址的至少一个下级URL地址，并根据采集每一个所述下级URL地址的时间顺序构建数据采集队列；确定所述数据采集队列中对应所述第一业务数据的目标URL地址；根据所述数据采集队列顺序加载所述目标URL地址之后的每一个下级URL地址分别对应的第一目标网页，根据所述数据采集模型分别采集每一个所述第一目标网页分别对应的第二业务数据，将每一条所述第二业务数据存储至所述数据库中。