[发明专利]网页获取方法、装置、计算机设备及存储介质有效
申请号: | 201910323566.0 | 申请日: | 2019-04-22 |
公开(公告)号: | CN110221871B | 公开(公告)日: | 2021-10-22 |
发明(设计)人: | 范小明 | 申请(专利权)人: | 腾讯科技(深圳)有限公司 |
主分类号: | G06F9/445 | 分类号: | G06F9/445;G06F16/955 |
代理公司: | 广州华进联合专利商标代理有限公司 44224 | 代理人: | 黄晶晶 |
地址: | 518000 广东省深圳*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 网页 获取 方法 装置 计算机 设备 存储 介质 | ||
1.一种网页获取方法,所述方法包括:
在容器中运行页面获取应用;所述页面获取应用,是安装于所述容器的、专设的用于获取页面内容的应用程序;
通过所述页面获取应用获取目标网页的链接地址;
由所述页面获取应用,调用安装于所述容器中的浏览器;所述浏览器,是通过容器技术预先安装于服务器中的;
由容器中的所述浏览器按照所述链接地址,请求所述目标网页的数据;
通过所述浏览器中的脚本语言引擎,对请求到的所述目标网页的数据进行计算组合,渲染生成所述目标网页的页面内容;所述目标网页的页面内容,是对目标网页的原始的数据经过解析渲染后得到的能够直接展示的页面内容。
2.根据权利要求1所述的方法,其特征在于,所述通过所述页面获取应用获取目标网页的链接地址包括:
通过所述网页获取应用,获取页面请求方发送的页面请求;
从所述页面请求中提取目标网页的链接地址;
所述方法还包括:
向所述页面请求方返回渲染的所述页面内容。
3.根据权利要求1所述的方法,其特征在于,所述页面获取应用中设置了用于提供浏览器接口函数的函数库;所述浏览器接口函数,是安装于所述容器的浏览器的接口函数;
所述由所述页面获取应用,调用安装于所述容器中的浏览器包括:
调用所述页面获取应用中的所述函数库所提供的浏览器接口函数;
通过所述浏览器接口函数,调用所述浏览器。
4.根据权利要求3所述的方法,其特征在于,所述页面获取应用是在JavaScript开发平台中开发得到;所述函数库,是所述JavaScript开发平台的、且用于提供所述浏览器接口函数的库;所述浏览器具备JavaScript引擎。
5.根据权利要求1所述的方法,其特征在于,所述页面获取应用中设置有函数库;所述函数库中包括用于调用安装于容器的浏览器的长连接服务的库函数;
所述由所述页面获取应用,调用安装于所述容器中的浏览器包括:
根据所述库函数,调用所述浏览器的长连接服务的端口,与所述浏览器之间建立长连接;
通过所述长连接调用所述浏览器。
6.根据权利要求1所述的方法,其特征在于,所述通过所述浏览器中的脚本语言引擎,对请求到的所述目标网页的数据进行计算组合,渲染生成所述目标网页的页面内容包括:
通过所述浏览器中的脚本语言引擎,解析请求到的所述数据中的超文本标记语言标签,得到第一树形数据结构;
解析所述数据中的层叠样式表,得到第二树形数据结构;
组合所述第一树形数据结构和第二树形数据结构,构建渲染树;
根据所述渲染树和所述数据中的页面元素,渲染所述目标网页的页面内容。
7.一种网页获取装置,其特征在于,所述装置包括:
获取模块,用于在容器中运行页面获取应用;所述页面获取应用,是安装于所述容器的、专设的用于获取页面内容的应用程序;通过所述页面获取应用获取目标网页的链接地址;
调用模块,用于由所述页面获取应用,调用安装于所述容器中的浏览器;所述浏览器,是通过容器技术预先安装于服务器中的;
渲染模块,用于由容器中的所述浏览器按照所述链接地址,请求所述目标网页的数据;通过所述浏览器中的脚本语言引擎,对请求到的所述目标网页的数据进行计算组合,渲染生成所述目标网页的页面内容;所述目标网页的页面内容,是对目标网页的原始的数据经过解析渲染后得到的能够直接展示的页面内容。
8.根据权利要求7所述的装置,其特征在于,所述获取模块还用于通过所述网页获取应用,获取页面请求方发送的页面请求;从所述页面请求中提取目标网页的链接地址;
所述装置还包括:
返回模块,用于向所述页面请求方返回渲染的所述页面内容。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯科技(深圳)有限公司,未经腾讯科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910323566.0/1.html,转载请声明来源钻瓜专利网。