[发明专利]一种基于内容分发网络CDN的数据处理方法和装置在审
申请号: | 201711485123.9 | 申请日: | 2017-12-29 |
公开(公告)号: | CN108234638A | 公开(公告)日: | 2018-06-29 |
发明(设计)人: | 温源;黄莹 | 申请(专利权)人: | 北京奇虎科技有限公司 |
主分类号: | H04L29/08 | 分类号: | H04L29/08 |
代理公司: | 北京润泽恒知识产权代理有限公司 11319 | 代理人: | 任亚娟 |
地址: | 100088 北京市西城区新*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 目标数据块 片段请求 数据片段 内容分发网络 方法和装置 数据处理 回源 缓存 合并请求 节点接收 源文件 网站 存储 查询 返回 合并 响应 访问 统一 | ||
本发明实施例提供了一种基于内容分发网络CDN的数据处理方法和装置,在内容分发网络CDN中具有多个节点,所述方法包括:在当前节点接收到片段请求时,确定请求的数据片段;在所述数据片段所属的源文件中查询包含所述数据片段的目标数据块;若当前节点未存储所述目标数据块,则合并请求所述目标数据块的片段请求;获取所述目标数据块;针对所述片段请求返回所述目标数据块中包含的所述数据片段。在本发明实施例中,在未缓存目标数据块之前,对于请求同一个目标数据块的片段请求,可以进行合并,进行一次回源操作,之后统一进行响应,大大减少了回源操作的频次,降低了源网站的访问压力。
技术领域
本发明涉及计算机处理的技术领域,特别是涉及一种基于内容分发网络CDN的数据处理方法和一种基于内容分发网络CDN的数据处理装置。
背景技术
在网站中经常使用CDN(Content Delivery Network,内容分发网络)对数据进行传输,CDN是通过在现有的网络中增加一层新的网络结构,部署有多个节点,用于缓存数据,使用户可以将数据传输到就近的节点上或从就近的节点获取所需的数据,提供相应的服务。
在播放视频、播放音频等场景中,由于文件体积过大或者用户拖动文件的播放进度等因素,客户端会向CDN请求该文件的部分片段。
目前,在请求文件没有存储完整前,部分片段的请求均会单独进行回源操作,即单独从源网站中获取相应的数据,造成回源操作的频次较多,对源网站造成较大访问压力。
发明内容
鉴于上述问题,提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种基于内容分发网络CDN的数据处理方法和相应的一种基于内容分发网络CDN的数据处理装置。
依据本发明的一个方面,提供了一种基于内容分发网络CDN的数据处理方法,在内容分发网络CDN中具有多个节点,所述方法包括:
在当前节点接收到片段请求时,确定请求的数据片段;
在所述数据片段所属的源文件中查询包含所述数据片段的目标数据块;
若当前节点未存储所述目标数据块,则合并请求所述目标数据块的片段请求;
获取所述目标数据块;
针对所述片段请求返回所述目标数据块中包含的所述数据片段。
可选地,还包括:
若当前节点已存储所述目标数据块,则返回所述目标数据块包含的数据片段。
可选地,还包括:
将所述目标数据块进行缓存。
可选地,所述在所述数据片段所属的源文件中查询包含所述数据片段的目标数据块,包括:
将所述数据片段所属的源文件划分为多个数据块;
在所述多个数据块中确定包含所述数据片段的目标数据块。
可选地,所述将所述数据片段所属的源文件划分为多个数据块,包括:
将所述数据片段所属的源文件按照预设的块大小划分出多个第一数据范围,作为多个数据块。
可选地,所述在所述多个数据块中确定包含所述数据片段的目标数据块,包括:
查询所述数据片段的第二数据范围;
将包含所述第二数据范围的第一数据范围对应的数据块确定为目标数据块。
可选地,所述合并请求所述目标数据块的片段请求,包括:
判断是否具有所述目标数据块对应的任务队列;
若是,则将所述片段请求写入所述任务队列;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京奇虎科技有限公司,未经北京奇虎科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201711485123.9/2.html,转载请声明来源钻瓜专利网。