[发明专利]一种在线文件非法下载检测方法和装置

权利要求书

1.一种在线文件非法下载检测方法，包括：

获取目标服务器文件下载日志并提取特征以表征用户的文件下载行为；

基于聚类算法结合统计分析获取用户下载行为基线；

根据所述用户下载行为基线对用户下载行为的合法性进行检测；

其特征在于，

所述获取目标服务器文件下载日志并提取特征以表征用户的文件下载行为，包括：

以下载文件时产生的系统日志为数据源，其中，文件传输协议包括ftp、sftp、smb；

以日志中的客户端IP地址、文件大小、文件名、下载时间为特征来表征用户的文件下载行为；

所述基于聚类算法结合统计分析获取用户下载行为基线，包括：

以每台服务器上的每个客户端IP地址为分析单位，即以每台服务器上的IP所产生的文件下载日志作为训练数据，采用聚类算法进行聚类；

根据聚类结果，针对每个类簇进行统计分析得出用户下载行为基线，即合法下载时间段、合法文件大小区间和合法下载频次。

2.根据权利要求1所述在线文件非法下载检测方法，其特征在于，所述聚类算法进行聚类的具体步骤如下：

步骤1：将每个数据点即每台服务器上的每个客户端IP地址的每条文件下载日志当作一个类簇，并提取日志特征，其特征向量表示为：，其中，向量的各个维度分别表示文件下载时间、文件大小；

步骤2：计算两两类簇之间的距离；

步骤3：将距离最小的两个类簇合并为一个类簇；

步骤4：重复步骤2和步骤3，直至满足训练迭代终止条件。

3.根据权利要求2所述在线文件非法下载检测方法，其特征在于，所述计算两两类簇之间的距离，采用如下三种方式之一：

1）Single Linkage，计算方法是将两个组合数据点中距离最近的两个数据点间的距离作为这两个组合数据点的距离；

2）Complete Linkage，计算方法与Single Linkage相反，将两个组合数据点中距离最远的两个数据点间的距离作为这两个组合数据点的距离；

3）Average Linkage，计算方法是计算两个组合数据点中的每个数据点与其他所有数据点的距离，将所有距离的均值作为两个组合数据点间的距离；

所述训练迭代终止条件根据人为参与程度采用以下三种方式之一：

1）人为参与，针对每次聚类结果绘制聚类结果图，由专家挑选最符合文件下载行为分布的聚类结果；

2）全自动化，聚类结果的好坏由某种评估指标决定，包括轮廓系数、兰德指数、互信息、标准互信息等；

3）半自动化，基于全自动化结果，由专家挑选最符合文件下载行为分布的聚类结果。

4.根据权利要求1或2或3所述在线文件非法下载检测方法，其特征在于，所述根据聚类结果，针对每个类簇进行统计分析得出用户下载行为基线，即合法下载时间段、合法文件大小区间、合法下载频次，包括：

去除异常点，异常点的判别方法采用以下两点之一：

1）基于先验经验，确定某些文件下载日志记录为非法；

2）基于聚类结果，将异常类簇即该类簇距其它类簇距离较远且类簇中数据量少于一定值视为异常点；

针对每个类簇中的正常点，统计其合法下载时间段，粒度由粗到细分为小时、分钟、秒；

统计其合法文件大小区间，范围在最大最小值的一定范围内上下浮动；

统计其合法下载频次，时间粒度由粗到细分为小时、分钟、秒。

5.根据权利要求1所述在线文件非法下载检测方法，其特征在于，所述根据所述用户下载行为的基线对用户下载行为的合法性进行检测，包括：

对用户下载的文件进行涉敏检查，若为敏感文件则该下载行为视为非法；

针对非敏感文件进行基线比对，若不在基线范围内则将该下载行为视为非法。