[发明专利]一种网站日志压缩方法及装置

权利要求书

1.一种网站日志压缩方法，其特征在于，包括如下步骤：

对待压缩网站日志中每个字段的类型进行判断，以得到类型判断结果；

根据所述类型判断结果，将每个所述字段分别输入至对应的预置模型中，以得到每个所述字段的字段压缩结果；

建立每个所述字段压缩结果的位置索引，以得到日志压缩结果；

所述将每个所述字段分别输入至对应的预置模型中的步骤之后，所述方法还包括：

当所述类型判断结果为第一类型时，将所述字段输入至第一模型中，第一类型字段属于字段中完全重复内容非常多的字段；

统计所述字段中每个不同行内容的重复次数，以得到重复次数；

根据所述重复次数，对每个所述不同行内容进行编码，以得到第一编码结果；

利用所述第一编码结果替换所述字段的行内容，以得到第一数据流；

所述将每个所述字段分别输入至对应的预置模型中的步骤之后，所述方法还包括：

当所述类型判断结果为第二类型时，将所述字段输入至第二模型中，第二类型的字段属于字段中行内容的大部分字符串是相同的；

将所述字段的每个行内容分为第一字符串和第二字符串，统计每个所述第一字符串的重复数量，以得到重复数量；

根据所述重复数量，对每个所述第一字符串进行编码，以得到第二编码结果；

利用所述第二编码结果替换所述第一字符串，以得到第二数据流；

所述将每个所述字段分别输入至对应的预置模型中的步骤之后，所述方法还包括：

当所述类型判断结果为第三类型时，将所述字段输入至第三模型中，第三类型的字段属于时间序列或者是有规律的数据序列；

计算所述字段中相邻两行的时间差，以得到多个所述时间差；

统计每个所述时间差的重复频数，以得到重复频数；

根据所述重复频数，对所述时间差进行编码，以得到第三编码结果；

根据所述第三编码结果，以得到第三数据流；

该编码的方式为哈夫曼编码。

2.根据权利要求1所述的网站日志压缩方法，其特征在于，所述对待压缩网站日志中每个字段的类型进行判断的步骤之前，所述方法还包括：

获取待压缩网站日志。

3.一种网站日志压缩装置，其特征在于，包括：

类型判断模块，用于对待压缩网站日志中每个字段的类型进行判断，以得到类型判断结果；

字段压缩模块，用于根据所述类型判断结果，将每个所述字段分别输入至对应的预置模型中，以得到每个所述字段的字段压缩结果；

日志压缩模块，用于建立每个所述字段压缩结果的位置索引，以得到日志压缩结果；

所述字段压缩模块包括：

第一类型输入单元，用于当所述类型判断结果为第一类型时，将所述字段输入至第一模型中，第一类型字段属于字段中完全重复内容非常多的字段；

重复次数统计单元，用于统计所述字段中每个不同行内容的重复次数，以得到重复次数；

第一编码单元，用于根据所述重复次数，对每个所述不同行内容进行编码，以得到第一编码结果；

得到第一数据流单元，用于利用所述第一编码结果替换所述字段的行内容，以得到第一数据流；

第二类型输入单元，用于当类型判断结果为第二类型时，将字段输入至第二模型中，第二类型的字段属于字段中行内容的大部分字符串是相同的；

重复数量统计单元，用于将字段的每个行内容分为第一字符串和第二字符串，统计每个第一字符串的重复数量，以得到重复数量；

第二编码单元，用于根据重复数量，对每个第一字符串进行编码，以得到第二编码结果；

得到第二数据流单元，用于利用第二编码结果替换第一字符串，以得到第二数据流；

第三类型输入单元，用于当类型判断结果为第三类型时，将字段输入至第三模型中，第三类型的字段属于时间序列或者是有规律的数据序列；

时间差计算单元，用于计算字段中相邻两行的时间差，以得到多个时间差；

重复频数统计单元，用于统计每个时间差的重复频数，以得到重复频数；

第三编码单元，用于根据重复频数，对时间差进行编码，以得到第三编码结果；

得到第三数据流单元，用于根据第三编码结果，以得到第三数据流，该编码的方式为哈夫曼编码。