[发明专利]日志收集系统及其中的数据传输方法和本地服务器

说明书

技术领域

本发明涉及互联网技术领域，具体涉及一种日志收集系统及其中的数据传输方法和本地服务器。

背景技术

对于互联网来说，获取网站上的访问记录以及其他相关记录，进行相关行为分析至关重要。因此需要进行网络的日志的收集。

Scribe是Facebook开源的日志收集系统，在Facebook内部已经得到大量的应用。Scribe能够从各种日志源上收集日志，存储到一个中央存储系统(可以是网络文件系统、分布式文件系统等)上，以便于进行集中统计分析处理。Scribe为日志的“分布式收集，统一处理”提供了一个可扩展的，高容错的方案。当中央存储系统的网络或者机器出现故障时，scribe会将日志转存到本地或者另一个位置，当中央存储系统恢复后，scribe会将转存的日志重新传输给中央存储系统。

图1示出了scribe系统的一个工作场景示意图。如图1所示，scribe系统包括客户端、本地服务器和中心服务器。客户端分布在各个网页的日志源处。客户端从日志源实时获取日志数据并实时发送给本地服务器，本地服务器再将日志数据发送给中心服务器，最后由中心服务器将日志数据发送到中央存储系统。

在实际场景中，本地服务器和中心服务器通常不在一个机房，常常需要跨机房传输日志数据，由于日志数据的海量性，网络带宽资源常常成为本地服务器到中心服务器的传输瓶颈，当需要传输的数据量很大时，数据经常会出现堆积的情况。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种日志收集系统及其中的数据传输方法和本地服务器。

依据本发明的一个方面，提供了一种日志收集系统中的数据传输方法，应用于包括客户端、本地服务器和中心服务器的日志收集系统，该方法包括：

本地服务器接收客户端从日志源获取后发送的日志数据；

本地服务器将接收的日志数据进行压缩后发送给中心服务器，由中心服务器对所接收到的日志数据进行解压缩后发送至中央存储系统。

可选地，所述本地服务器接收客户端从日志源获取后发送的日志数据包括：将接收到的日志数据按照该日志数据的分类放入对应的队列中；其中，本地服务器有用于存放不同分类的日志数据的多个队列；

所述本地服务器将接收的日志数据进行压缩后发送给中心服务器包括：从队列中取日志数据，对取出的日志数据进行压缩后发送给中心服务器。

可选地，该方法在本地服务器将接收的日志数据进行压缩后，并在发送给中心服务器之前，进一步包括：对压缩后的日志数据进行base64编码，然后再发送给中心服务器；中心服务器对所接收日志数据进行解压缩之前，先进行base64解码。

可选地，所述本地服务器将接收的日志数据进行压缩包括：采用ZLIB算法或LZO算法对日志数据进行压缩。

可选地，所述将接收到的日志数据按照该日志数据的分类放入对应的队列中包括：由本地服务器的多个接收工作线程接收客户端发送的日志数据，并按照该日志数据的分类放入对应的队列中；

所述从队列中取日志数据包括：由本地服务器的多个发送工作线程从多个队列中取日志数据。

依据本发明的另一个方面，提供了一种日志收集系统中的本地服务器，包括：接收单元、压缩单元和发送单元；

所述接收单元，适于接收客户端从日志源获取后发送的日志数据；

所述压缩单元，适于将接收单元接收的日志数据进行压缩；

所述发送单元，适于将压缩单元压缩的日志数据发送给中心服务器，使得中心服务器对所接收到的日志数据进行解压缩后发送至中央存储系统。

可选地，该本地服务器进一步包括：用于存储多个队列的存储单元；

所述接收单元，适于将接收到的日志数据按照该日志数据的分类放入对应的队列中；

所述压缩单元，适于从队列中取日志数据，对取出的日志数据进行压缩。

可选地，该本地服务器进一步包括：编码单元，适于对压缩单元压缩后的日志数据进行base64编码；

所述发送单元，适于将编码单元进行base64编码后的日志数据发送给中心服务器，使得中心服务器对日志数据进行解压缩之前，先进行base64解码。

可选地，所述压缩单元，适于采用ZLIB算法或LZO算法对日志数据进行压缩。

依据本发明的又有个方面，提供了一种日志收集系统，其中，该系统包括：客户端、中心服务器和如上述任一项所述的本地服务器。