[发明专利]一种DNS日志压缩方法和装置

说明书

本发明公开了一种DNS日志压缩方法和装置，方法包括：步骤1)获取域名系统DNS原始日志；步骤2)根据DNS中的源IP地址、请求端口匹配Radius日志中该IP地址的认证信息；步骤3)判断所述DNS的域名是否属于260万域名；步骤4)当属于以上260万域名中的DNS时，则对所述DNS原始日志进行分析，并匹配用户账户、计算PV、访问时间点均值、访问时间点方差，最终多条记录的被合并成一条记录，同时删去原始日志。本发明采取了上述方案以后，实现DNS原始数据超过100个数量级的减少，在大幅降低DNS数据量的同时保证了数据的价值，具有很好的技术效果。

技术领域

本发明属于互联网领域，具体涉及一种域名系统日志DNS压缩方法和装置。

背景技术

随着互联网技术的迅猛发展，越来越多的用户开始接入并频繁的使用互联网，DNS作为互联网不可或缺的一份子，产生的日志量也呈爆炸性增长，以广东省为例，每天产生的原始DNS日志达到12T，扩展到全国来计算，每天的DNS原始日志量达到300T，对于DNS提供商来说，如何花费最小的代价来存储DNS日志并保证数据的有效性已成为亟待解决的问题。

方法一：

压缩DNS日志，组建足够大的存储集群来存储压缩DNS日志。其中，由于集群的扩展会消耗更多的存储，随着时间的推移，花费的代价越来越大。

方法二：

删除留存超过一个月的DNS日志信息，只保留一个月以内的DNS日志信息。其中，超过一个月的DNS日志信息的缺失，对于时间跨度超过一个月的DNS日志分析，无法实现。

发明内容

本发明所要解决的技术问题是提供一种新的DNS日志压缩方法和装置，用以克服现有技术以上两种方法的缺点。

本发明解决上述技术问题所采取的技术方案如下：

一种DNS日志压缩方法，包括：

步骤1)获取域名系统DNS原始日志，该原始日志中包括：源IP地址、源端口、目的IP地址、目的端口、ID、域名、请求类型、解析结果、解析时间、状态码、请求或者响应信息；

步骤2)根据DNS中的源IP地址、请求端口匹配Radius日志中该IP地址的认证信息，Radius日志格式包括：

用户账户、上线时间、下线时间、外网IP、内网IP、外网起始端口和外网结束端口，其中，只有DNS的请求端口在Radius的起始结束端口范围内，该DNS信息才有效；

步骤3)判断所述DNS的域名是否属于260万域名；

步骤4)当属于以上260万域名中的DNS时，则对所述DNS原始日志进行分析，并匹配用户账户、计算PV、访问时间点均值、访问时间点方差，最终多条记录的被合并成一条记录，同时删去原始日志。

进一步地，优选的是，步骤2)中，当DNS信息的请求端口对应Radius日志的起始结束端口为0时，说明该IP地址使用的是外网IP的所有端口，放弃该项DNS信息。

进一步地，优选的是，步骤4)中，DNS留存日志中，具体包括：

用户账户、域名、PV、访问时间点均值、访问时间点方差。

进一步地，优选的是，步骤4)中，进一步包括：针对某一用户，通过域名访问信息的拼接方式，只保留一条记录。

进一步地，优选的是，步骤4)中，计算PV、访问时间点均值、访问时间点方差具体包括：

PV值对应的是用户访问某一网址的次数；

均值是用户每次访问时间距离当天00：00的分钟数之和/PV，计算公式：(X1+X2+…+Xn)/PV；