[发明专利]网页监测方法、装置、存储介质及服务器有效
| 申请号: | 201710329418.0 | 申请日: | 2017-05-11 |
| 公开(公告)号: | CN108880921B | 公开(公告)日: | 2021-07-02 |
| 发明(设计)人: | 高翔宇;徐伟 | 申请(专利权)人: | 腾讯科技(北京)有限公司 |
| 主分类号: | H04L12/26 | 分类号: | H04L12/26;G06F16/955;G06F16/957 |
| 代理公司: | 北京德琦知识产权代理有限公司 11018 | 代理人: | 高秀娟;王琦 |
| 地址: | 100080 北京市海淀区海淀*** | 国省代码: | 北京;11 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 网页 监测 方法 装置 存储 介质 服务器 | ||
1.一种网页监测方法,其特征在于,应用于网页监测服务器,所述方法包括:
运行无头浏览器,获取一网址;通过所述无头浏览器,设置虚拟浏览窗口的尺寸;
在第一时刻通过所述网址获取与所述尺寸适配的第一网页内容以及所述网址对应的第三超文本标记语言HTML代码;
当判定所述第三HTML代码包含待显示的动态图片的信息时,在第二时刻通过所述网址获取所述网址对应的第四HTML代码,利用所述第三HTML代码和所述第四HTML代码的差别是否大于第一阈值,判断所述网址对应的网页内容是否发生变更;
当判定所述第三HTML代码不包含所述待显示的动态图片的信息时,在第二时刻通过所述网址获取与所述尺寸适配的第二网页内容,利用截图的方式,判断所述网址对应的网页内容是否发生变更。
2.根据权利要求1所述的方法,其特征在于,
所述判断所述第一网页内容和所述第二网页内容的差别是否大于所述第一阈值包括:
在所述虚拟浏览窗口中加载所述第一网页内容,判断所述第一网页内容是否加载完全,当判定所述第一网页内容加载完全时,对所述第一网页内容执行截图操作,得到并保存第一图片;
在所述虚拟浏览窗口中加载所述第二网页内容,判断所述第二网页内容是否加载完全,当判定所述第二网页内容加载完全时,对所述第二网页内容执行截图操作,得到第二图片;
判断所述第一图片和所述第二图片的差别是否大于所述第一阈值。
3.根据权利要求2所述的方法,其特征在于,所述网址包括:多个子网址,判断所述第一网页内容是否加载完全包括:
为每一子网址生成包含所述子网址的网页内容获取请求,将所述网页内容获取请求发送给网页内容存储服务器;
每生成一个包含所述子网址的网页内容获取请求,调用计数器使其执行加1操作;
从所述网页内容存储服务器接收和所述每一子网址对应的网页内容;
每接收完一个子网址对应的网页内容,调用所述计数器使其执行减1操作;
判断是否已为所述每一子网址生成所述网页内容获取请求;
当判定已为所述每一子网址生成所述网页内容获取请求后,判断所述计数器的计数值;
当所述计数器的计数值为其初始值时,判定所述第一网页内容加载完全。
4.根据权利要求2所述的方法,其特征在于,判断所述第一网页内容是否加载完全包括:
在第三时刻对所述第一网页内容执行截图操作,生成第三图片;
获取所述第三图片的直方图;
当判定所述直方图中像素数量为第一设定值的色阶数超过预定第二阈值或像素数量为第二设定值的色阶数超过预定第三阈值时,判定所述第一网页内容未加载完全。
5.根据权利要求2所述的方法,其特征在于,判断所述第一网页内容是否加载完全包括:
在第四时刻对所述第一网页内容执行截图操作,生成第四图片;
遍历所述第四图片;
判断所述第四图片是否包含指示加载不完全的标识;
当判定所述第四图片包含所述指示加载不完全的标识时,判定所述第一网页内容未加载完成。
6.根据权利要求2所述的方法,其特征在于,进一步包括:
判断所述第一图片和所述第二图片的差别是否大于第四阈值;
当判定所述第一图片和所述第二图片的差别大于所述第四阈值时,在第五时刻获取并保存所述网址对应的第一HTML代码,在第六时刻获取所述网址对应的第二HTML代码;
比较所述第一HTML代码和所述第二HTML代码的差别;
当所述第一HTML代码和所述第二HTML代码的差别大于第五阈值时,判定所述网址对应的内容发生变更。
7.根据权利要求1所述的方法,其特征在于,进一步包括:
判断所述第三HTML代码是否包含所述待显示的动态图片的信息。
8.根据权利要求7所述的方法,其特征在于,所述待显示的动态图片的信息指动态图片的描述信息。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯科技(北京)有限公司,未经腾讯科技(北京)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201710329418.0/1.html,转载请声明来源钻瓜专利网。
- 上一篇:云服务管理方法、装置以及电子设备
- 下一篇:一种获取最少测试话单的方法及系统





