[发明专利]一种数据采集方法及装置

说明书

技术领域

本发明涉及计算机技术领域，特别涉及一种数据采集方法及装置。

背景技术

随着互联网技术的发展，依赖于URL(UniformResourceLocator，统一 资源定位符)地址的网页成为大量业务数据的载体，为了满足不同用户的业 务需求，通常需要根据用户业务需求从特定互联网站对应的至少一个网页上 采集相应的业务数据。

目前，从目标网站对应的多个目标页面采集业务数据时，通常需要预先 获取对应目标网站的初始URL地址，利用网络爬虫技术采集初始URL地址 对应的多个下级URL地址，进而分别加载每一个下级URL地址分别对应的 目标网页，根据相应的数据采集模型分别从每一个目标网页上采集相应的业 务数据，并将采集到的业务数据存储至数据库中。

但是，在上述技术方案中，当数据采集业务发生业务中断(比如，目标 网站关闭及服务器掉电等)后，重新启动针对相同目标网站的数据采集业务 时，只能重新采集全部目标网页分别对应的业务数据，导致已采集到数据库 中的业务数据出现冗余，浪费存储空间。

发明内容

本发明提供了一种数据采集方法及装置，可节约存储空间。

第一方面，本发明提供了一种数据采集方法，包括：

S1：当针对相同目标网站再次进行数据采集业务时，获取对应所述目标 网站的数据采集策略、数据采集模型以及初始统一资源定位符URL地址；

S2：从数据库中获取对应所述目标网站的第一业务数据，其中，所述第 一业务数据为针对所述目标网站的前次数据采集过程中最后一条存储至所述 数据库的业务数据；

S3：根据所述数据采集策略采集对应所述初始URL地址的至少一个下 级URL地址，并根据采集每一个所述下级URL地址的时间顺序构建数据采 集队列；

S4：确定所述数据采集队列中对应所述第一业务数据的目标URL地址；

S5：根据所述数据采集队列顺序加载所述目标URL地址之后的每一个 下级URL地址分别对应的第一目标网页，根据所述数据采集模型分别采集每 一个所述第一目标网页分别对应的第二业务数据，将每一条所述第二业务数 据存储至所述数据库中。

进一步的，

所述将每一条所述第二业务数据存储至所述数据库中，进一步包括：将 每一条所述第二业务数据与所述至少一个下级URL地址之间的对应关系存 储至所述数据库中；

所述从数据库中获取对应所述目标网站的第一业务数据，进一步包括： 获取所述第一业务数据与所述至少一个下级URL地址之间的对应关系；

所述确定所述数据采集队列中对应所述第一业务数据的目标URL地址， 包括：

根据所述第一业务数据及所述第一业务数据与所述至少一个下级URL 地址之间的对应关系，确定所述数据采集队列中对应所述第一业务数据的目 标URL地址。

进一步的，所述确定所述数据采集队列中对应所述第一业务数据的目标 URL地址，包括：

根据所述数据采集队列顺序加载一个下级URL地址对应的第二目标网 页；

根据所述数据采集模型采集所述第二目标网页对应的第三业务数据；

判断所述第一业务数据和所述第三业务数据是否相同，当判断结果为是 时，确定所述第三业务数据对应的下级URL地址为目标URL地址；否则， 根据所述数据采集队列顺序加载下一个所述下级URL地址对应的第二目标 网页。

进一步的，

所述数据采集策略包括：深度优先采集策略或广度优先采集策略。

第二方面，本发明提供了一种数据采集装置，包括：

第一获取单元，用于当针对相同目标网站再次进行数据采集业务时，获 取对应所述目标网站的数据采集策略、数据采集模型以及初始统一资源定位 符URL地址；

第二获取单元，用于从数据库中获取对应所述目标网站的第一业务数据， 其中，所述第一业务数据为针对所述目标网站的前次数据采集过程中最后一 条存储至所述数据库的业务数据；

第一处理单元，用于根据所述数据采集策略采集对应所述初始URL地址 的至少一个下级URL地址，并根据采集每一个所述下级URL地址的时间顺 序构建数据采集队列；

确定单元，用于确定所述数据采集队列中对应所述第一业务数据的目标 URL地址；