[发明专利]一种基于自学习的数据爬取方法及装置

摘要

本发明公开了一种基于自学习的数据爬取方法及装置，预先构建包括网站结构和爬虫程序模板对应关系的网站结构数据库，对应关系至少为一个，该方法包括：在对当前网站的爬取时，获取当前网站的网站结构；遍历网站结构数据库，查找与网站结构匹配的第一目标爬虫程序模板；基于第一目标爬虫程序模板对当前网站进行爬取；在网站结构改变导致爬取异常时，继续匹配网站结构数据库查找与当前网站匹配的第二目标爬虫程序模板；基于第二目标爬虫程序模板对当前网站进行爬取。上述方法，预先建立网站结构数据库，当网站结构改变时依旧可以依据网站结构数据库中的对应关系，查找到对应的爬虫程序模板，不需要重新开发程序，不会导致爬取数据中断。