[发明专利]一种DNS日志压缩方法和装置

权利要求书

1.一种DNS日志压缩方法，其特征在于，包括：

步骤1)获取域名系统DNS原始日志，该原始日志中包括：源IP地址、源端口、目的IP地址、目的端口、ID、域名、请求类型、解析结果、解析时间、状态码、请求或者响应信息；

步骤2)根据DNS中的源IP地址、请求端口匹配Radius日志中该IP地址的认证信息，Radius日志格式包括：

用户账户、上线时间、下线时间、外网IP、内网IP、外网起始端口和外网结束端口，其中，只有DNS的请求端口在Radius的起始结束端口范围内，该DNS信息才有效；

步骤3)使用Bloom过滤方法判断所述DNS的域名是否属于260万域名；

260万域名是根据原始DNS日志，统计全国访问PV数大于3的域名；

步骤4)当属于以上260万域名中的DNS时，则对所述DNS原始日志进行分析，并匹配用户账户、计算页面浏览量PV、访问时间点均值、访问时间点方差，最终多条记录被合并成一条记录，同时删去原始日志。

2.根据权利要求1所述的DNS日志压缩方法，其特征在于，步骤2)中，当DNS信息的请求端口对应Radius日志的起始结束端口为0时，说明该IP地址使用的是外网IP的所有端口，直接保存该DNS信息。

3.根据权利要求1所述的DNS日志压缩方法，其特征在于，步骤4)中，DNS留存日志中，具体包括：

用户账户、域名、PV、访问时间点均值、访问时间点方差。

4.根据权利要求1所述的DNS日志压缩方法，其特征在于，步骤4)中，进一步包括：针对某一用户，通过域名访问信息的拼接方式，只保留一条记录。

5.根据权利要求1所述的DNS日志压缩方法，其特征在于，步骤4)中，计算PV、访问时间点均值、访问时间点方差具体包括：

PV值对应的是用户访问某一网址的次数；

均值是用户每次访问时间距离当天00：00的分钟数之和/PV，计算公式：(X1+X2+…+Xn)/PV；

方差是用户访问时间点与平均时间点的标准方差值，计算公式：((X1-M)^2+(X2-M)^2+…+(Xn-M)*2)/n，其中n＝PV。

6.一种DNS日志压缩装置，其特征在于，包括：

日志获取单元，获取域名系统DNS原始日志，该原始日志中包括：源IP地址、源端口、目的IP地址、目的端口、ID、域名、请求类型、解析结果、解析时间、状态码、请求或者响应信息；

日志匹配单元，根据DNS中的源IP地址、请求端口匹配Radius日志中该IP地址的认证信息，Radius日志格式包括：

用户账户、上线时间、下线时间、外网IP、内网IP、外网起始端口和外网结束端口，其中，只有DNS的请求端口在Radius的起始结束端口范围内，该DNS信息才有效；

日志分析单元，用于使用Bloom过滤方法判断所述DNS的域名是否属于260万域名；

260万域名是根据原始DNS日志，统计全国访问PV数大于3的域名；

当属于以上260万域名中的DNS时，则对所述DNS原始日志进行分析，并匹配用户、计算页面浏览量PV、访问时间点均值、访问时间点方差，最终多条记录被合并成一条记录，同时删去原始日志。

7.根据权利要求6所述的DNS日志压缩装置，其特征在于，所述日志匹配单元，进一步用于当DNS信息的请求端口对应Radius日志的起始结束端口为0时，说明该IP地址使用的是外网IP的所有端口，直接保存该DNS信息。

8.根据权利要求6所述的DNS日志压缩装置，其特征在于，所述日志分析单元，进一步地在DNS留存日志中，具体包括：

用户账户、域名、PV、访问时间点均值、访问时间点方差。

9.根据权利要求6所述的DNS日志压缩装置，其特征在于，所述日志分析单元，进一步针对某一用户，通过域名访问信息的拼接方式，只保留一条记录。

10.根据权利要求6所述的DNS日志压缩装置，其特征在于，所述日志分析单元，计算PV、访问时间点均值、访问时间点方差具体包括：

PV值对应的是用户访问某一网址的次数；

均值是用户每次访问时间距离当天00：00的分钟数之和/PV，计算公式：(X1+X2+…+Xn)/PV；

方差是用户访问时间点与平均时间点的标准方差值，计算公式：((X1-M)^2+(X2-M)^2+…+(Xn-M)*2)/n，其中n＝PV。