[发明专利]回源控制方法及装置

说明书

本发明提供了一种回源控制方法及装置，涉及网络技术领域。该方法应用于CDN网络的边缘节点，包括：获得配置管理平台下发的搜索引擎回源策略；当获得客户端的http/https请求时，获取客户端的IP地址及访问网站信息；判断IP地址是否与预先建立的搜索引擎爬虫IP库中的爬虫IP匹配；当IP地址与搜索引擎爬虫IP库中的爬虫IP匹配时，依据被访问网站所配置的搜索引擎回源策略对http/https请求进行回源控制。本发明提供的回源控制方法及装置能够对搜索引擎的访问进行灵活控制。

技术领域

本发明涉及网络技术领域，具体而言，涉及一种回源控制方法及装置。

背景技术

目前大部分的基于云平台的搜索引擎回源方案都是基于DNS组件完成，即当一个域名解析过程来时，判断DNS请求的客户端IP是否是属公开的爬虫IP库中，如果属于公开的爬虫IP库，则直接解析回源站。

由于DNS请求阶段只有域名信息，没有访问资源信息，部分URI 不想让搜索引擎检索的需求无法得到满足，不能够根据需要对搜索引擎的访问进行灵活控制。

发明内容

有鉴于此，本发明实施例的目的在于提供一种回源控制方法及装置。

第一方面，本发明实施例提供了一种回源控制方法，应用于CDN 网络的边缘节点，包括：

获得配置管理平台下发的搜索引擎回源策略；

当获得客户端的http/https请求时，获取所述客户端的IP地址及访问网站信息；

判断所述IP地址是否与预先建立的搜索引擎爬虫IP库中的爬虫 IP匹配；

当所述IP地址与所述搜索引擎爬虫IP库中的爬虫IP匹配时，依据被访问网站所配置的搜索引擎回源策略对所述http/https请求进行回源控制。

可选地，当所述IP地址与所述搜索引擎爬虫IP库中的爬虫IP 匹配时，所述方法还包括：

依据所述IP地址获得对应的搜索引擎类型；

所述依据被访问网站所配置的搜索引擎回源策略对所述 http/https请求进行回源控制，包括：

依据被访问网站所配置的搜索引擎回源策略和所述搜索引擎类型对所述http/https请求进行回源控制。

可选地，所述搜索引擎回源策略包括基于整体域名的回源策略和基于URL的回源策略，所述依据被访问网站所配置的搜索引擎回源策略和所述搜索引擎类型对所述http/https请求进行回源控制，包括：

提取所述http/https请求的URL资源，检索所述基于URL的回源策略是否设置了与所述URL资源对应回源策略；

当所述基于URL的回源策略设置了与所述URL资源对应回源策略时，依据所述基于URL的回源策略对所述http/https请求进行回源控制；否则

依据所述基于整体域名的回源策略和所述搜索引擎类型对所述 http/https请求进行回源控制，或当所述http/https请求不满足所述整体域名的回源策略的条件时按照正常的CDN访问流程执行所述 http/https请求。

可选地，所述依据所述基于URL的回源策略对所述http/https请求进行回源控制，包括：

当所述http/https请求在所述基于URL的回源策略中被设置为允许时，对所述http/https请求回源；

当所述http/https请求在所述基于URL的回源策略中被设置为拒绝时，拒绝所述http/https请求。

可选地，所述方法还包括：

获得所述配置管理平台发送的所述搜索引擎爬虫IP库。