[发明专利]动态图表类页面数据爬取方法、装置、终端及存储介质

说明书

一种动态图表类页面数据爬取方法，包括：采用自动化测试工具启动浏览器，输入待爬取数据的网站的链接；从待爬取数据的网站中爬取与用户输入的爬取关键词相关的页面信息；对爬取到的页面进行渲染并解析；通过自动化测试工具对解析后的页面进行截图得到截图图片并保存截图图片；根据预先训练的图片识别模型对截图图片进行识别，得到截图图片中的内容；判断待爬取数据的网站及对应爬取关键词的页面是否已遍历完；当确定都已被遍历过，则结束流程；否则，继续执行上述过程。本发明还提供一种动态图表类页面数据爬取装置、终端及存储介质。本发明能够自动爬取动态加载的图表类数据且能识别出图片中的内容。

技术领域

本发明涉及网络爬虫技术领域，具体涉及一种动态图表类页面数据爬取方法、装置、终端及存储介质。

背景技术

随着创建交互式Web应用程序而无需牺牲浏览器兼容性的流行方法(Asynchronous JavaScript and XML，Ajax)等现代网页技术的普及，网页数据的形态也发生了深刻的变化。互联网上出现了越来越多的使用Ajax动态生成的页面内容，用户经常会遇到一些网页提示“点击加载更多”或者是随着鼠标滚动自动加载更多内容。这些新形态的网页需要用户交互操作来触发内容的生成和显示，在一定程度上改善了用户浏览体验，但是对传统基于抓取HTML文件的数据采集方法提出了严峻的挑战。

尤其是对于网页中动态加载的图表类数据，一般都是通过异步加载后进行显示，而传统的爬虫难以爬取到；一些文本数据采用加密技术后也通过图表的形式显示，并且图表无法直接下载获取；在爬取数据的过程中会经常遇到需要输入的问题；另外图表上会增加一些干扰信息，使得图表中的真实数据信息难以获取。现阶段一般需要大量的人力投入才可以获取到动态图表类数据。

发明内容

鉴于以上内容，有必要提出一种动态图表类页面数据爬取方法、装置、终端及存储介质，能够自动爬取动态加载的图表类数据，对于爬取到的图表类数据进行截图后输入至预先训练好的图片识别模型中，识别出图片中的内容，相比于传统的网络爬虫产品兼容性好、速度快、数据抓取准确。

本发明的第一方面提供一种动态图表类页面数据爬取方法，所述方法包括：

a)采用自动化测试工具启动浏览器，输入待爬取数据的网站的链接；

b)从所述待爬取数据的网站中爬取与用户输入的爬取关键词相关的页面信息；

c)对爬取到的页面进行渲染并解析；

d)通过所述自动化测试工具对解析后的页面进行截图得到截图图片并保存所述截图图片；

e)根据预先训练的图片识别模型对所述截图图片进行识别，得到所述截图图片中的内容；

f)判断所述待爬取数据的网站及对应所述爬取关键词的页面是否已遍历完；及

当确定所述待爬取数据的网站及对应所述爬取关键词的页面都已被遍历过，则结束流程；或者

当确定所述待爬取数据的网站及对应所述爬取关键词的页面未被遍历完，则继续执行上述b)至f)。

一种优选的实施方式中，所述通过所述自动化测试工具对解析后的页面进行截图得到截图图片并保存所述截图图片包括：

通过所述自动化测试工具判断解析后的页面中是否存在图表；

当确定解析后的页面中不存在图表时，爬取解析后的页面中的信息，并根据预先设置的数据格式保存爬取到的信息；及

当确定解析后的页面中存在图表时，对所述解析后的页面中的图表进行截图得到截图图片。

一种优选的实施方式中，所述通过所述自动化测试工具对解析后的页面进行截图得到截图图片并保存所述截图图片包括：

计算所述截图图片的感知哈希值；