[发明专利]一种基于浏览器的微信公众号数据采集方法及装置

说明书

技术领域

本发明涉及信息采集领域，具体涉及一种基于浏览器的微信公众号数据采集方法及装置。

背景技术

微信公众号推送的文章可以通过两种途径查看，一个是搜索引擎的微信搜索，但是搜索的信息太杂乱，且受到服务器提供商的限制。第二个是关注公众号，可接受公众号推送的文章，但是每个微信账号关注的公众号有限。

在一般的微信采集方法中，通过模拟搜素引擎的请求，获取关键词搜索出来的微信文章，这种方法缺点是请求频率会严格受到限制，出现需要输入验证码才能继续请求，程序无法识别验证而导致采集中断，信息采集效率低且信息杂乱。

发明内容

为克服上述缺陷，本发明的目的即在于提供一种基于浏览器的微信公众号数据采集方法及装置。

本发明的目的是通过以下技术方案来实现的：

本发明的一种基于浏览器的微信公众号数据采集方法，包括以下步骤：

在服务器上开启一个以上的浏览器，设置浏览器代理实现浏览器与互联网通信；

在每一个浏览器上均登陆一个微信账号，通过微信账号接收微信公众号的推送数据，在浏览器与互联网数据交互时将浏览器与互联网交互的微信公众号交互数据包进行监控并下载；

扫描微信公众号交互数据包并提取所需的微信相关信息；

根据提取所需的微信相关信息解析出微信公众号索引信息，访问该微信公众号索引信息获取微信公众号的具体微信信息。

进一步，所述微信公众号索引信息为微信文章链接地址或微信公众号账号。

进一步，根据提取所需的微信相关信息解析出微信公众号索引信息，利用httpclient访问微信公众号索引信息获取微信公众号的具体微信信息。

进一步，将浏览器与互联网交互的微信公众号交互数据包进行监控并下载的同时，根据微信公众号交互数据包请求的域名进行分类存储。

进一步，设置多个启动配置在服务器上开启一个以上的浏览器。

更进一步，所述浏览器为谷歌浏览器。

一种基于浏览器的微信公众号数据采集装置，该装置与服务器数据连接，该装置包括依次连接的：

在浏览器与互联网数据交互时将浏览器与互联网交互的微信公众号交互数据包进行监控并下载的数据监控及下载单元；

扫描微信公众号交互数据包并提取所需的微信相关信息的数据扫描提取单元；

根据提取所需的微信相关信息解析出微信公众号索引信息，访问该微信公众号索引信息获取微信公众号具体微信信息的解析及访问获取单元。

进一步，该装置还包括与数据监控及下载单元连接、设置多个启动配置在服务器上开启一个以上浏览器的启动配置单元。

更进一步，该装置还包括与数据监控及下载单元连接、根据微信公众号交互数据包请求的域名对微信公众号交互数据包进行分类存储的分类存储单元。

本发明提供的一种基于浏览器的微信公众号数据采集方法及装置，该方法和装置通过浏览器代理设置实现同时开启多个微信账号，在浏览器与互联网数据交互时将浏览器与互联网交互的微信公众号交互数据包进行监控并下载；一台服务器可以开多个浏览器窗口，相当于开多个采集入口，而浏览器窗口占用的资源小；采集针对性较强，由微信账号关注重点微信公众号，采集的信息没有其他杂乱信息；访问不受限制，浏览器登陆微信后，公众号会自动推送信息；不影响微信账号的正常使用，微信在网页版登陆后，用于采集信息，手机端可正常使用。

附图说明

为了易于说明，本发明由下述的较佳实施例及附图作以详细描述。

图1为本发明一种基于浏览器的微信公众号数据采集方法的步骤流程图；

图2为本发明一种基于浏览器的微信公众号数据采集方法的另一步骤流程图；

图3为本发明一种基于浏览器的微信公众号数据采集装置的模块框图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。