[发明专利]数据处理方法、装置、介质及系统有效
申请号: | 201911256210.6 | 申请日: | 2019-12-10 |
公开(公告)号: | CN112953984B | 公开(公告)日: | 2023-07-28 |
发明(设计)人: | 郑友声;王少阳 | 申请(专利权)人: | 贵州白山云科技股份有限公司 |
主分类号: | H04L67/63 | 分类号: | H04L67/63;H04L67/1023 |
代理公司: | 北京名华博信知识产权代理有限公司 11453 | 代理人: | 苗源 |
地址: | 550003 贵州省贵阳市*** | 国省代码: | 贵州;52 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据处理 方法 装置 介质 系统 | ||
本文是关于一种数据处理方法、装置、介质及系统。数据处理方法包括:第一业务服务器接收URL请求;基于每一请求的URL,确定目标服务器;当所述目标服务器为所述第一业务服务器时,由所述第一业务服务器响应所述请求;当所述目标服务器不是所述第一业务服务器时,转发所述URL请求至目标服务器。节点内只需存储一份缓存文件,减少空间占用,消耗底层CPU进行内核计算,不受应用层性能瓶颈限制。针对所有请求类型都能达到转发均衡,适用广泛。
技术领域
本文涉及内容分发网络,尤其涉及数据处理方法、装置、介质及系统。
背景技术
CDN系统作为承载客户流量的平台,服务器处理客户请求并给出响应结果,服务器处理不同业务的响应消耗速度不同,容易造成业务堆积。相关技术中,负载均衡方法有两个弊端,一是在负载均衡服务器上对后端请求直接做权重,无法保证缓存重新利用,无法保持特殊URL的keep-alive持久链接。二是通过发现热点URL,将热点URL策略改成直接分散到各个缓存服务器上,但当域名请求整体突发,无明显URL热点时就捉襟见肘,因为热点发现系统主要针对单一URL热点进行修改hash方式扩散,对于域名级别热点无法识别,更无法处理。另外,现有技术通过直接计算后端服务器CPU,磁盘等硬件信息作为分配权重,难以保证将特殊业务集中在同一台业务处理器。其次服务器运行时承载能力是实时变化,如果权重随时修改,将使缓存无法持续利用,导致大量回源请求,这是CDN业务不能容许的。
发明内容
为克服相关技术中存在的问题,本文提供一种数据处理方法、装置、介质及系统。
根据本文的第一方面,提供一种数据处理方法,应用于业务服务器,包括:
第一业务服务器接收URL请求;
基于每一请求的URL,确定目标服务器;
当所述目标服务器为所述第一业务服务器时,由所述第一业务服务器响应所述请求;当所述目标服务器不是所述第一业务服务器时,转发所述URL请求至目标服务器。
所述基于每一请求的URL,确定目标服务器包括:
当节点内服务器有所述URL的缓存文件时,确定有所述URL的缓存文件的服务器为目标服务器;
当节点内服务器没有所述URL的缓存文件时,根据节点内服务器的消费能力分值确定目标服务器。
所述根据节点内服务器的消费能力分值确定目标服务器包括:
在所述第一业务服务器消费能力分值满足阈值时,确定所述第一业务服务器为目标服务器,或者,确定节点内消费能力分值最高的服务器为目标服务器;
在所述第一业务服务器消费能力分值不满足阈值时,确定节点内消费能力分值最高的服务器为目标服务器。
所述消费能力分值包括:当前请求堆积数分值,当前请求堆积趋势分值,服务器配置分值的分值之和。
当所述URL为多个时,所述转发所述URL的请求至所述目标服务器包括:根据所述目标服务器的消费能力分值,计算转发比例,按所述转发比例将所述URL请求发送到所述目标服务器。
所述转发比例=(请求堆积数/总请求数)*(目标服务器消费能力分值/第一业务服务器消费能力分值)。
所述当所述目标服务器为所述第一业务服务器时,由所述第一业务服务器响应所述请求包括:如所述第一业务服务器没有所述URL的缓存文件,由所述第一业务服务器获取源文件并响应所述URL的请求,缓存响应文件。
根据本文的另一方面,提供一种数据处理装置,应用于业务服务器,包括:
接收模块,用于第一业务服务器接收URL请求;
目标服务器确定模块,用于基于每一请求的URL,确定目标服务器;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于贵州白山云科技股份有限公司,未经贵州白山云科技股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201911256210.6/2.html,转载请声明来源钻瓜专利网。