[发明专利]一种基于图像识别的网页数据解析方法及系统

说明书

本发明公开了一种基于图像识别的网页数据解析方法及系统，包括以下步骤，安装python开发模块；通过所述python开发模块安装selenium库和pytesseract库；安装浏览器并下载相应版本的浏览器驱动文件；利用所述selenium库驱动所述浏览器访问目标网站，并对目标数据进行截图；通过所述pytesseract库对截图进行图像识别；解析出所述目标数据，解决了现有技术中对动态加载HTML和加密HTML难解析的问题，完美规避了直接解析HTML而引发的难题。

技术领域

本发明涉及计算机数据内容提取的技术领域，尤其涉及一种基于图像识别的网页数据解析方法及系统。

背景技术

python是一种跨平台的计算机程序设计语言，简单易用，pyselenium是python语言实现的浏览器控制模块，可以使用pyselenium驱动浏览器完成一系列操作，pytesseract是python的一个图像识别库，可以识别图像上的文字。

现有的爬虫技术方案是通过使用网络请求库请求目标网页，拿到目标网页的静态页面内容HTML后，再使用正则表达式或解析库对HTML数据进行解析的。但现在大多数的网站都对爬虫进行限制，一些反爬虫措施如动态加载、数据加密，导致了传统的爬虫方案无法爬取到目标网站的数据。

发明内容

本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。

鉴于上述现有网站HTML内容解析技术存在的问题，提出了本发明。

因此，本发明解决的技术问题是：解决动态加载HTML和加密HTML难解析的问题。

为解决上述技术问题，本发明提供如下技术方案：一种基于图像识别的网页数据解析方法，包括以下步骤：安装python开发模块；通过所述python开发模块安装selenium库和pytesseract库；安装浏览器并下载相应版本的浏览器驱动文件；利用所述selenium库驱动所述浏览器访问目标网站，并对目标数据进行截图；通过所述pytesseract库对截图进行图像识别；解析出所述目标数据。

作为本发明所述的基于图像识别的网页数据解析方法的一种优选方案，其中：所述python开发模块选择python3.5.4版本。

作为本发明所述的基于图像识别的网页数据解析方法的一种优选方案，其中：安装所述selenium库和所述pytesseract库具体包括如下步骤，调用所述python开发模块；终端输入pip安装命令；安装所述selenium库和所述pytesseract库。

作为本发明所述的基于图像识别的网页数据解析方法的一种优选方案，其中：所述selenium库选择selenium3.14.1库。

作为本发明所述的基于图像识别的网页数据解析方法的一种优选方案，其中：所述pytesseract库选择pytesseract0.3.0库。

作为本发明所述的基于图像识别的网页数据解析方法的一种优选方案，其中：所述浏览器选择79.0.3945.36版本谷歌浏览器，并下载相应驱动文件。

为解决上述技术问题，本发明还提供如下技术方案：一种基于图像识别的网页数据解析系统，包括安装模块，所述安装模块用于安装python开发模块、selenium库、pytesseract库、浏览器及浏览器驱动文件；控制模块，所述控制模块(200)使用所述selenium库和所述pytesseract库的功能组合编写完成所述浏览器的控制、截图和OCR识别解析目标数据。