[发明专利]一种数据采集方法及装置

权利要求书

1.一种数据采集方法，其特征在于，包括：

当针对相同目标网站再次进行数据采集业务时，获取对应所述目标网站 的数据采集策略、数据采集模型以及初始统一资源定位符URL地址；

从数据库中获取对应所述目标网站的第一业务数据，其中，所述第一业 务数据为针对所述目标网站的前次数据采集过程中最后一条存储至所述数据 库的业务数据；

根据所述数据采集策略采集对应所述初始URL地址的至少一个下级 URL地址，并根据采集每一个所述下级URL地址的时间顺序构建数据采集 队列；

确定所述数据采集队列中对应所述第一业务数据的目标URL地址；

根据所述数据采集队列顺序加载所述目标URL地址之后的每一个下级 URL地址分别对应的第一目标网页，根据所述数据采集模型分别采集每一个 所述第一目标网页分别对应的第二业务数据，将每一条所述第二业务数据存 储至所述数据库中。

2.根据权利要求1所述的方法，其特征在于，

所述将每一条所述第二业务数据存储至所述数据库中，进一步包括：将 每一条所述第二业务数据与所述至少一个下级URL地址之间的对应关系存 储至所述数据库中；

所述从数据库中获取对应所述目标网站的第一业务数据，进一步包括： 获取所述第一业务数据与所述至少一个下级URL地址之间的对应关系；

所述确定所述数据采集队列中对应所述第一业务数据的目标URL地址， 包括：

根据所述第一业务数据及所述第一业务数据与所述至少一个下级URL 地址之间的对应关系，确定所述数据采集队列中对应所述第一业务数据的目 标URL地址。

3.根据权利要求1所述的方法，其特征在于，所述确定所述数据采集队 列中对应所述第一业务数据的目标URL地址，包括：

根据所述数据采集队列顺序加载一个下级URL地址对应的第二目标网 页；

根据所述数据采集模型采集所述第二目标网页对应的第三业务数据；

判断所述第一业务数据和所述第三业务数据是否相同，当判断结果为是 时，确定所述第三业务数据对应的下级URL地址为目标URL地址；否则， 根据所述数据采集队列顺序加载下一个所述下级URL地址对应的第二目标 网页。

4.根据权利要求1所述的方法，其特征在于，

所述数据采集策略包括：深度优先采集策略或广度优先采集策略。

5.一种数据采集装置，其特征在于，包括：

第一获取单元，用于当针对相同目标网站再次进行数据采集业务时，获 取对应所述目标网站的数据采集策略、数据采集模型以及初始统一资源定位 符URL地址；

第二获取单元，用于从数据库中获取对应所述目标网站的第一业务数据， 其中，所述第一业务数据为针对所述目标网站的前次数据采集过程中最后一 条存储至所述数据库的业务数据；

第一处理单元，用于根据所述数据采集策略采集对应所述初始URL地址 的至少一个下级URL地址，并根据采集每一个所述下级URL地址的时间顺 序构建数据采集队列；

确定单元，用于确定所述数据采集队列中对应所述第一业务数据的目标 URL地址；

第二处理单元，用于根据所述数据采集队列顺序加载所述目标URL地址 之后的每一个下级URL地址分别对应的第一目标网页，根据所述数据采集模 型分别采集每一个所述第一目标网页分别对应的第二业务数据，将每一条所 述第二业务数据存储至所述数据库中。

6.根据权利要求5所述的数据采集装置，其特征在于，

所述第二处理单元，进一步用于将每一条所述第二业务数据与所述至少 一个下级URL地址之间的对应关系存储至所述数据库中；

所述第二获取单元，进一步用于获取所述第一业务数据与所述至少一个 下级URL地址之间的对应关系；

所述确定单元，用于根据所述第一业务数据及所述第一业务数据与所述 至少一个下级URL地址之间的对应关系，确定所述数据采集队列中对应所述 第一业务数据的目标URL地址。

7.根据权利要求5所述的数据采集装置，其特征在于，所述确定单元， 包括：

处理子单元，用于根据所述数据采集队列顺序加载一个下级URL地址对 应的第二目标网页；根据所述数据采集队列顺序加载下一个所述下级URL 地址对应的第二目标网页；

数据采集子单元，用于根据所述数据采集模型采集所述第二目标网页对 应的第三业务数据；

确定子单元，用于确定所述第三业务数据对应的下级URL地址为目标 URL地址；

判断子单元，用于判断所述第一业务数据和所述第三业务数据是否相同， 当判断结果为是时，触发确定子单元确定所述第三业务数据对应的下级URL 地址为目标URL地址；否则，触发处理子单元根据所述数据采集队列顺序加 载下一个所述下级URL地址对应的第二目标网页。