[发明专利]一种基于自学习的数据爬取方法及装置

说明书

本发明公开了一种基于自学习的数据爬取方法及装置，预先构建包括网站结构和爬虫程序模板对应关系的网站结构数据库，对应关系至少为一个，该方法包括：在对当前网站的爬取时，获取当前网站的网站结构；遍历网站结构数据库，查找与网站结构匹配的第一目标爬虫程序模板；基于第一目标爬虫程序模板对当前网站进行爬取；在网站结构改变导致爬取异常时，继续匹配网站结构数据库查找与当前网站匹配的第二目标爬虫程序模板；基于第二目标爬虫程序模板对当前网站进行爬取。上述方法，预先建立网站结构数据库，当网站结构改变时依旧可以依据网站结构数据库中的对应关系，查找到对应的爬虫程序模板，不需要重新开发程序，不会导致爬取数据中断。

技术领域

本发明涉及互联网技术领域，尤其涉及一种基于自学习的数据爬取方法及装置。

背景技术

在基于网络爬虫爬取网站中的数据时，现有技术中会依据网站的网站结构编写对应的爬虫程序，基于该爬虫程序爬取网站中的对应数据。

但是，网站结构不是固定不变的，可能会不定期的进行调整，一旦网站结构调整，之前的爬虫程序就无法爬取调整后网站中的相关数据，造成数据爬取失败，只能重新开发爬虫程序，造成数据爬取工作的中断。

发明内容

有鉴于此，本发明提供了一种基于自学习的数据爬取方法及装置，用以解决现有网站结构不是固定不变的，可能会不定期的进行调整，一旦网站结构调整，之前的爬虫程序就无法爬取调整后网站中的相关数据，造成数据爬取失败，只能重新开发爬虫程序，造成数据爬取工作的中断的问题。具体方案如下：

一种基于自学习的数据爬取方法，预先构建包括网站结构和爬虫程序模板对应关系的网站结构数据库，所述对应关系至少为一个，所述方法包括：

在接收到对当前网站的爬取请求时，获取所述当前网站的网站结构；

遍历所述网站结构数据库，基于所述对应关系查找与所述网站结构匹配的第一目标爬虫程序模板；

基于所述第一目标爬虫程序模板对所述当前网站进行爬取；

在所述网站结构改变导致所述当前网站爬取异常时，继续匹配所述网站结构数据库查找与所述当前网站匹配的第二目标爬虫程序模板；

基于所述第二目标爬虫程序模板对所述当前网站进行爬取。

上述的方法，可选的，还包括：

若基于所述第二目标爬虫程序模板对所述当前网站爬取异常时，提示对所述当前网站的爬虫程序进行人工修订；

获取修订结果，基于所述修订结果对所述网站结构数据库进行更新。

上述的方法，可选的，还包括：

对所述当前网站进行Ping操作，检测所述当前网站是否运行异常，和/或，对所述第二目标爬虫程序的应用进行检测。

上述的方法，可选的，还包括：

在所述网站结构数据库中不存在所述第一目标爬虫程序模板或所述第二目标爬虫程序模板时，基于预设匹配规则，将所述网站结构数据库中包括的各个爬虫程序模板进行组合，得到各个待测试爬虫程序模板；

基于所述各个待测试爬虫程序模板对所述当前网站进行爬取，采用蚁群算法选取第三目标爬虫程序模板；

基于所述第三目标爬虫程序模板对所述当前网站进行爬取。

上述的方法，可选的，还包括：

获取所述当前网站的当前网站结构；

将所述第三目标爬虫程序模板与所述当前网站结构的对应关系存储至所述网站结构数据库。