[发明专利]一种CDN系统内日志实时分析的方法

说明书

技术领域

本发明涉及互联网技术领域，尤其是涉及一种CDN系统内日志实时分析的方法。

背景技术

CDN的全称是Content Delivery Network,即内容分发网络。其基本思路是尽可能避开互联网上有可能影响数据传输速度和稳定性的瓶颈和环节,使内容传输的更快、更稳定.通过在网络各处放置节点服务器所构成的在现有的互联网基础之上的一层智能虚拟网络,CDN系统能够实时地根据网络流量和各节点的连接、负载状况以及到用户的距离和响应时间等综合信息将用户的请求重新导向离用户最近的服务节点上.其目的是使用户可就近取得所需内容,解决Internet网络拥挤的状况,提高用户访问网站的响应速度。

在大数据系统中特别是在CDN系统中，常常会碰到一个问题，整个大数据是由各个子系统组成，数据需要在各个子系统中高性能，低延迟的不停流转。传统的企业消息系统并不是非常适合大规模的数据处理。目前在该技术领域，用的比较多的是spark、storm等实时计算框架，spark、storm因开源、成熟而且稳定等特点应用得比较广泛。

关于spark、storm两种计算框架的简要介绍如下：

Spark是专为大规模数据处理而设计的快速通用的计算引擎，支持交互式计算和复杂算法，因此它的计算速度计较快；此外，Spark是一个通用引擎，可用它来完成各种各样的运算，包括SQL查询、文本处理、机器学习等，而在Spark出现之前，我们一般需要学习各种各样的引擎来分别处理这些需求。

storm是一个分布式的、容错的实时计算系统，为分布式实时计算提供了一组通用原语，可被用于“流处理”之中，实时处理消息并更新数据库。应用领域，包括实时分析、在线机器学习、信息流处理(例如，可以使用Storm处理新的数据和快速更新数据库)、连续性的计算(例如，使用Storm连续查询，然后将结果返回给客户端，如将微博上的热门话题转发给用户)、分布式RPC(远过程调用协议，通过网络从远程计算机程序上请求服务)、ETL(Extraction Transformation Loading，数据抽取、转换和加载)等。

CDN作为一个典型的分布式应用场景，如果照搬这些框架会有一定的局限性，具体表现在如下几个方面：

1.使用spark/storm等，需要搭建一个庞大的服务器集群，前期投入非常大大。

2.spark/storm依赖的组件非常多，且组件之间是强耦合，再加上各个版本之间的兼容性问题，后期维护的成本较大。

在建设完成spark/storm集群后，后续就需要考虑如何将日志实时收集起来的问题。但是在CDN系统中，日志都是在各个节点中产生，而节点遍布全国，数量众多且网络环境复杂，因此日志的实时性并不能得到有效的保障。

发明内容

本发明的目的在于提供一种CDN系统内日志实时分析的方法，以解决上述背景技术中提出的问题和缺陷,用于处理活跃的流式数据，可提供一个分布式的，可划分的，冗余备份的持久性的日志服务。

为实现上述目的，本发明提供如下技术方案：

一种CDN系统内日志实时分析的方法，在CDN中心节点上部署有中心日志分析系统，集中处理各节点汇总后数据的日志，基于分布式发布订阅消息系统进行实时分析,分布式发布订阅消息系统部署在各个CDN节点之上，由主题、分区、消息、生产商、消息和数据消费者、缓存代理组成，为了均衡负载将主题分成多个分区，每个代理存储一或多个分区，多个生产者和消费者同时生产和获取消息分布式发布订阅消息系统，

CDN各节点上的分布式发布订阅消息系统通过API接口的方式与中心日志分析系统进行数据的通讯；CDN各节点通过API接口将数据传递到中心日志分析系统，中心日志分析系统汇总、保存接收到的数据，并按数据的类型进行分类整理。

在上述技术方案中，其中：

生产商、缓存代理、消息和数据消费者均有多个；

生产商、消息和数据消费者用于实现分布式发布订阅消息系统注册的接口，数据从生产商发送到缓存代理，再由缓存代理分发注册到系统中的消费者中。

在上述技术方案中，分布式发布订阅消息系统的各个组成部分具体为：

主题：特指本分布式发布订阅消息系统组件处理的消息源的不同分类；

分区：标题物理上的分组，一个主题分为多个分区，每个分区是一个有序的队列，分

区中的每条消息都会被分配一个有序的id；

消息：是通信的基本单位，每个生产商可以向一个主题发布一些消息；