[发明专利]数据采集方法、装置及计算机可读存储介

权利要求书

1.一种数据采集方法，其特征在于，所述方法包括：

获取目标采集网站，将所述目标采集网站按网站结构划分为不同的结构层次；

根据所述不同的结构层次中的数据采集属性生成与所述不同的结构层次对应的数据采集规则项；

获取所述不同的结构层次的底层数据框架；

根据所述底层数据框架构建与所述目标采集网站具有相同结构层次的规则模板，将所述数据采集规则项添加至所述规则模板的对应层次中；

在所述规则模板中利用每一个结构层次的数据采集规则项对所述目标采集网站对应结构层次的数据进行采集，得到目标数据集。

2.如权利要求1所述的数据采集方法，其特征在于，所述根据所述底层数据框架构建与所述目标采集网站具有相同结构层次的规则模板，将所述数据采集规则项添加至所述规则模板的对应层次中，包括：

根据所述底层数据框架构建与所述目标采集网站对应的镜像结构层次；

将所述镜像结构层次按照所述目标采集网站的结构层次进行组合，得到组合规则模板；

对所述组合规则模板中不同的结构层次按照与所述目标采集网站对应的结构层次添加对应的数据采集规则项，得到所述规则模板。

3.如权利要求1所述的数据采集方法，其特征在于，所述在所述规则模板中利用每一个结构层次的数据采集规则项对所述目标采集网站对应结构层次的数据进行采集，得到目标数据集，包括：

从所述规则模板的最高结构层次开始，采用递归算法遍历所述规则模板的每一层，并在每一层中遍历每一个采集规则项，基于所述遍历操作选择所述规则模板中的每一个数据采集规则项，利用选择的数据采集规则项对所述目标采集网站规则模板中对应结构层次的数据进行采集；

若所述目标采集网站中某一层数据采集失败，直接跳转至下一个结构层次进行数据采集；

若所述目标采集网站中某一层数据采集成功，将所述目标采集网站中该层结构层次的采集数据输出至一个预设存储空间，并跳转至下一个结构层次进行数据采集；

汇总所述目标采集网站中所有层输出的采集数据，得到所述目标数据集。

4.如权利要求1所述的数据采集方法，其特征在于，该方法还包括：

设置定时触发推送功能，根据所述定时触发推送功能将采集到的所述目标数据集定时推送给客户。

5.如权利要求4所述的数据采集方法，其特征在于，所述设置定时触发推送功能，包括：

获取用户的推送需求，根据所述推送需求选取合适的自定义处理函数；

获取当前的目标数据推送环境；

根据所述数据推送环境使用相应的编译器对所述自定义处理函数进行编译，得到规则表达式；

利用所述规则表达式设置所述定时触发推送功能。

6.一种数据采集装置，其特征在于，所述装置包括：

网站结构划分模块，用于获取目标采集网站，将所述目标采集网站按网站结构划分为不同的结构层次；

规则项生成模块，用于根据所述不同的结构层次中的数据采集属性生成与所述不同的结构层次对应的数据采集规则项；

底层数据框架获取模块，用于获取所述不同的结构层次的底层数据框架；

规则模板构建模块，用于根据所述底层数据框架构建与所述目标采集网站具有相同结构层次的规则模板，将所述数据采集规则项添加至所述规则模板的对应层次中；

数据采集模块，用于利用所述数据采集规则项对所述规则模板进行数据采集，得到目标数据集。

7.如权利要求6所述的数据采集装置，其特征在于，所述规则模板构建模块用于：

根据所述底层数据框架构建与所述目标采集网站对应的镜像结构层次；

将所述镜像结构层次按照所述目标采集网站的结构层次进行组合，得到所述组合规则模板；

对所述组合规则模板中不同的结构层次按照与所述目标采集网站对应的结构层次添加不同的数据采集规则项，得到所述规则模板。