[发明专利]一种网页内容抓取方法和装置在审
| 申请号： | 201410562845.X | 申请日： | 2014-10-21 |
| 公开（公告）号： | CN105589857A | 公开（公告）日： | 2016-05-18 |
| 发明（设计）人： | 郑杰;刘永升 | 申请（专利权）人： | 腾讯科技（深圳）有限公司 |
| 主分类号： | G06F17/30 | 分类号： | G06F17/30 |
| 代理公司： | 北京三高永信知识产权代理有限责任公司 11138 | 代理人： | 鞠永善 |
| 地址： | 518000 广东省深圳*** | 国省代码： | 广东;44 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种网页内容抓取方法和装置，属于互联网技术领域。所该方法包括：周期性的通过第一线程从第一调度库中找出调度时间到达的网页标识，将所述找出的网页标识从所述第一调度库移至第二调度库中，所述第一调度库用于存储所有待抓取网页内容的网页标识；在抓取完网页内容时，通过第二线程从所述第二调度库中选择调度优先级别最高的预设数值个网页标识；根据所述选择的网页标识，抓取网页内容。该装置包括：第一移动模块，选择模块和抓取模块。本发明第一线程和第二线程同时进行，且第二调度库中存储的网页标识的数目较少，从第二调度库中选择网页标识比较省时，从而提高了抓取网页内容的效率。 | ||
| 搜索关键词： | 一种 网页 内容 抓取 方法 装置 | ||
【主权项】：
一种网页内容抓取方法，其特征在于，所述方法包括：周期性的通过第一线程从第一调度库中找出调度时间到达的网页标识，将所述找出的网页标识从所述第一调度库移至第二调度库中，所述第一调度库用于存储所有待抓取网页内容的网页标识；在抓取完网页内容时，通过第二线程从所述第二调度库中选择调度优先级别最高的预设数值个网页标识；根据所述选择的网页标识，抓取网页内容。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于腾讯科技（深圳）有限公司，未经腾讯科技（深圳）有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201410562845.X/，转载请声明来源钻瓜专利网。
- 内容再现系统、内容提供方法、内容再现装置、内容提供装置、内容再现程序和内容提供程序
- 内容记录系统、内容记录方法、内容记录设备和内容接收设备
- 内容服务系统、内容服务器、内容终端及内容服务方法
- 内容分发系统、内容分发装置、内容再生终端及内容分发方法
- 内容发布、内容获取的方法、内容发布装置及内容传播系统
- 内容提供装置、内容提供方法、内容再现装置、内容再现方法
- 内容传输设备、内容传输方法、内容再现设备、内容再现方法、程序及内容分发系统
- 内容发送设备、内容发送方法、内容再现设备、内容再现方法、程序及内容分发系统
- 内容再现装置、内容再现方法、内容再现程序及内容提供系统
- 内容记录装置、内容编辑装置、内容再生装置、内容记录方法、内容编辑方法、以及内容再生方法
