[发明专利]一种访问图片的方法、系统和图片服务器有效
申请号: | 201210236360.2 | 申请日: | 2012-07-09 |
公开(公告)号: | CN103544149B | 公开(公告)日: | 2018-07-13 |
发明(设计)人: | 阮星华 | 申请(专利权)人: | 百度在线网络技术(北京)有限公司 |
主分类号: | G06F17/30 | 分类号: | G06F17/30;H04L29/08 |
代理公司: | 北京鸿德海业知识产权代理事务所(普通合伙) 11412 | 代理人: | 袁媛 |
地址: | 100085 北京*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 图片URL 图片服务器 图片 抓取 图片集合 直接访问 缓存 实时访问 图片存储 图片访问 网络空闲 客户端 放入 服务器 访问 成功 | ||
1.一种图片访问的方法,其特征在于,该方法包括:
S1、客户端依据请求的图片URL直接向图片所在的服务器发起访问以获取对应的图片,如果在设定时间内获取成功,则展现获取的图片,结束流程;如果在设定时间内获取失败,执行步骤S2;
S2、从缓存cache节点上获取所述图片URL对应的图片,如果获取成功,则展现获取的图片,结束流程;否则,执行步骤S3;
S3、所述cache节点将所述请求的图片URL发送给图片服务器;
S4、所述图片服务器将所述请求的图片URL放入不可直接访问图片集合,并在网络空闲时利用不可直接访问图片集合中的图片URL进行线下抓取,将抓取到的图片存储在cache节点上。
2.根据权利要求1所述的方法,其特征在于,所述图片服务器将抓取到的图片预处理成缩略图后存储在cache节点上。
3.根据权利要求1所述的方法,其特征在于,所述cache节点是预先确定的哈希空间中的N个节点,所述N为大于1的整数。
4.根据权利要求3所述的方法,其特征在于,所述图片服务器将抓取到的图片存储在cache节点上具体包括:对抓取到的图片的图片URL进行编码后哈希映射到所述哈希空间中,将所述抓取到的图片存储到哈希映射值右侧最临近的cache节点上;
所述从cache节点上获取所述图片URL对应的图片具体包括:对图片URL进行编码后哈希映射到所述哈希空间中,从哈希映射值右侧最临近的cache节点上获取对应的图片。
5.根据权利要求4所述的方法,其特征在于,对图片URL进行编码具体包括:
将图片URL中的预设字符片段作为编码单元,其他单字符作为编码单元,所述预设字符片段为图片URL通常所共有的字符片段;
基于图片URL中的各编码单元采用线性编码算法进行编码,将编码后的内容中不可传输的字符替代为安全字符。
6.根据权利要求4所述的方法,其特征在于,该方法还包括:
如果所述哈希空间中有cache节点故障或被删除,则将故障或被删除的cache节点上的图片转存到其右侧最临近的cache节点上;
如果所述哈希空间中新增cache节点,则将新增cache节点与其左侧最临近的cache节点之间的哈希映射值对应的图片存储在新增cache节点上。
7.根据权利要求6所述的方法,其特征在于,该方法还包括:
当发生cache节点故障、新增或被删除后,所述图片服务器根据cache节点的负载情况在所述哈希空间上进行cache节点位置的动态调整;
所述动态调整包括:将负载超重的cache节点位置向左移动,或者,将负载超重的cache节点左侧最临近的cache节点位置向右移动。
8.根据权利要求1所述的方法,其特征在于,所述步骤S4还包括:所述图片服务器将抓取到的图片存储在本地;
在所述步骤S4之前还包括:所述图片服务器查询本地是否存在所述请求的图片URL对应的图片,如果是,则直接将对应的图片存储在Cache节点上,并由Cache节点将对应的图片返回给客户端,结束流程;否则,继续执行所述步骤S4。
9.一种图片访问的系统,其特征在于,该系统包括:
客户端,用于依据请求的图片URL直接向图片所在的服务器发起访问以获取对应的图片,如果在设定时间内获取成功,则展现获取的图片;如果在设定时间内获取失败,则从缓存cache节点上获取所述图片URL对应的图片,如果获取成功,则展现获取的图片,否则触发cache节点提供所述请求的图片URL;
cache节点,用于受到所述客户端的触发后,将所述请求的图片URL提供给图片服务器;
图片服务器,用于将所述图片URL放入不可直接访问图片集合,并在网络空闲时利用不可直接访问图片集合中的图片URL进行线下抓取,将抓取到的图片存储在cache节点上。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于百度在线网络技术(北京)有限公司,未经百度在线网络技术(北京)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201210236360.2/1.html,转载请声明来源钻瓜专利网。