[发明专利]一种内容分发网络的日志处理方法和装置

说明书

本发明实施例提供了一种内容分发网络CDN的日志处理方法和装置，该方法包括：采集多个内容分发网络CDN的多种日志文件；按照预设的协议标准从所述多种日志文件中生成多条目标数据；根据所述多条目标数据统计业务数据。逻辑架构清晰，简化了日志文件的处理逻辑，统一了不同内容分发网络CDN的日志数据，提高了数据统计灵活性，可扩展、可运维、服务质量高。

技术领域

本发明涉及计算机处理的技术领域，特别是涉及一种内容分发网络CDN的日志处理方法和一种内容分发网络CDN的日志处理装置。

背景技术

在网站中经常使用CDN(Content Delivery Network，内容分发网络)对数据进行传输，CDN是通过在现有的网络中增加一层新的网络结构，部署有多个节点，用于缓存数据，使用户可以将数据传输到就近的节点上或从就近的节点获取所需的数据，提供相应的服务。

在一些大型网站中，除了自身部署CDN之外，还可能融合第三方的CDN，每个CDN的日志格式、上报粒度、延迟周期均可能不同，导致日志处理逻辑复杂，统计指标可控性差。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种内容分发网络CDN的日志处理方法和相应的一种内容分发网络CDN的日志处理装置。

依据本发明的一个方面，提供了一种内容分发网络CDN的日志处理方法，包括：

采集多个内容分发网络CDN的多种日志文件；

按照预设的协议标准从所述多种日志文件中生成多条目标数据；

根据所述多条目标数据统计业务数据。

可选地，所述采集多个内容分发网络CDN的多种日志文件，包括：

从预设的第一数据接口中接收内容分发网络CDN发送的日志文件；

和/或，

调用预设的第二数据接口从内容分发网络CDN中拉取日志文件。

可选地，所述按照预设的协议标准从所述多种日志文件中生成多条目标数据，包括：

从所述多中日志文件中提取指定类型的多条日志数据；

按照预设的协议标准将所述多条日志数据转换为多条目标数据；

其中，所述协议标准包括如下的至少一项：

数据格式、统计粒度、统计单位、上报时延、数据角色。

可选地，所述根据所述多条目标数据统计业务数据，包括：

将所述多条目标数据写入消息队列中；

由订阅所述目标数据的消费者从所述消息队列中提取所述目标数据；

由订阅所述目标数据的消费者采用所述目标数据按照预设的统计维度统计业务数据。

可选地，所述由订阅所述目标数据的消费者从所述消息队列中提取所述目标数据，包括：

由订阅某个数据类型的目标数据的消费者从所述消息队列中提取所述数据类型的目标数据。

可选地，所述数据类型包括如下的至少一种：

网络数据、状态码、命中数据；

所述由订阅所述目标数据的消费者采用所述目标数据按照预设的统计维度统计业务数据，包括：

由订阅所述网络数据的消费者采用所述网络数据下的目标数据在如下至少一种统计维度统计带宽、流量、请求数中的至少一种业务数据：

时间、域名、目录、角色、地区、运营商；