[发明专利]一种网站日志压缩方法及装置

说明书

本发明提出了一种网站日志压缩方法及装置，涉及数据压缩领域。一种网站日志压缩方法，其包括如下步骤：对待压缩网站日志中每个字段的类型进行判断，以得到类型判断结果。根据类型判断结果，将每个字段分别输入至对应的预置模型中，以得到每个字段的字段压缩结果。建立每个字段压缩结果的位置索引，以得到日志压缩结果。该网站日志压缩方法及装置考虑到了不同类型的字段的不同特性，针对字段的不同特性，对不同类型的日志文件进行不同的压缩处理，则可以大幅提高待压缩网站日志的压缩率，达到较好的压缩效果，进而大幅减少服务器的存储空间和通信的带宽及时间，减少了日志压缩结果的传输时间。

技术领域

本发明涉及数据压缩领域，具体而言，涉及一种网站日志压缩方法及装置。

背景技术

数据压缩技术是一种用最尽可能少的数据来表示原始信号数据的技术。由于信息化、数据化、网络化的快速发展，各种形式的数据量特别庞大，因此，数据压缩技术已成为当今计算机和通信、存储和多媒体娱乐中的一项关键的共性技术。

数据压缩算法主要有两大类：有损压缩和无损压缩。有损数据压缩算法通常通过删除需要大量保真数据的小细节，从而减少文件的大小。在有损数据压缩中，由于删除了基本数据，不可能恢复原始文件。而无损数据压缩是使文件的大小减少，这样一个解压函数完全可以恢复原始文件，不会造成数据丢失。无损数据压缩在计算机中无处不在，可以节省计算机的存储空间。

无损压缩算法的基本原理是：任意一个非随机文件都含重复数据，这些重复数据可以通过用来确定字符或短语出现概率的统计建模技术，进行压缩。运用这些技术以及其它技术，一个8-bit长度的字符或者字符串可以用很少的bit来表示，从而大量的重复数据被移除。典型的压缩算法包括：字典类的LZ77(1977)系列和LZ78(1978)系列，以及其他方式的PPM(1984)和BZIP2(1996)。

目前，大部分压缩算法基本上都将压缩对象看成一个字符序列进行算法的处理。现有的压缩算法忽略了被压缩对象的特性，在无损压缩算法的实际应用中，特别是在网络化、信息化的实践中，使用通用的数据无损压缩算法处理大量的网站访问日志，将占用相对较多的存储空间和通信的带宽和时间，并不能达到很好的压缩效果。

发明内容

本发明的目的在于提供一种网站日志压缩方法及装置，用以改善现有技术中使用无损压缩算法处理大量网站访问日志，将占用相对较多的存储空间和通信的带宽和时间，不能达到很好的压缩效果的问题。

本发明的实施例是这样实现的：

第一方面，本申请实施例提供一种网站日志压缩方法，其包括如下步骤：对待压缩网站日志中每个字段的类型进行判断，以得到类型判断结果。根据类型判断结果，将每个字段分别输入至对应的预置模型中，以得到每个字段的字段压缩结果。建立每个字段压缩结果的位置索引，以得到日志压缩结果。

在本发明的一些实施例中，上述对待压缩网站日志中每个字段的类型进行判断的步骤之前，该网站日志压缩方法还包括：获取待压缩网站日志。

在本发明的一些实施例中，上述将每个字段分别输入至对应的预置模型中的步骤之后，该网站日志压缩方法还包括：当类型判断结果为第一类型时，将字段输入至第一模型中。统计字段中每个不同行内容的重复次数，以得到重复次数。根据重复次数，对每个不同行内容进行编码，以得到第一编码结果。利用第一编码结果替换字段的行内容，以得到第一数据流。

在本发明的一些实施例中，上述将每个字段分别输入至对应的预置模型中的步骤之后，该网站日志压缩方法还包括：当类型判断结果为第二类型时，将字段输入至第二模型中。将字段的每个行内容分为第一字符串和第二字符串，统计每个第一字符串的重复数量，以得到重复数量。根据重复数量，对每个第一字符串进行编码，以得到第二编码结果。利用第二编码结果替换第一字符串，以得到第二数据流。