[发明专利]机器学习样本集的自动化提取方法和计算机可读存储介质

权利要求书

1.一种机器学习样本集的自动化提取方法，其特征在于，包括：

按照单位时间从网站访问日志中提取访问数据集；

从所述访问数据集中提取出每个单位时间内源IP地址和请求URL均不同的目标访问数据；

将所述目标访问数据标记为正常访问数据，并存入机器学习样本集。

2.根据权利要求1所述的方法，其特征在于，按照单位时间从网站访问日志中提取访问数据集包括：

从所述网站访问日志中提取一个单位时间内的访问数据，并将所述一个单位时间内的访问数据作为所述访问数据集。

3.根据权利要求1所述的方法，其特征在于，按照单位时间从网站访问日志中提取访问数据集包括：

从所述网站访问日志中提取访问数据，并将所述访问数据按照所述单位时间进行分片，得到多个访问数据集。

4.根据权利要求1所述的方法，其特征在于，在按照单位时间从网站访问日志中提取访问数据集之后，所述方法还包括：

从所述访问数据集中筛除具有预设特征的访问数据。

5.根据权利要求4所述的方法，其特征在于，所述预设特征包括HTTP响应码为404或5XX的HTTP访问数据；从所述访问数据集中筛除具有预设特征的访问数据包括：

提取所述访问数据集中访问数据的HTTP响应码；

将HTTP响应码为404或5XX的访问数据从所述访问数据集中删除。

6.根据权利要求4所述的方法，其特征在于，所述预设特征包括访问对象为静态文件，其中，所述静态文件包括以下至少之一：图片、CSS页面、JS页面。

7.根据权利要求1至6中任一项所述的方法，其特征在于，所述单位时间为8小时、12小时或24小时。

8.根据权利要求1至6中任一项所述的方法，其特征在于，在将所述目标访问数据标记为正常访问数据，并存入机器学习样本集之后，所述方法还包括：

判断所述机器学习样本集中的样本数量是否达到预设数量阈值；

在判断到所述机器学习样本集中的样本数量未达到预设数量阈值的情况下，继续按照所述单位时间从所述网站访问日志中提取新的访问数据集，从所述新的访问数据集中提取出每个单位时间内源IP地址和请求URL均不同的新的目标访问数据；将所述新的目标访问数据标记为正常访问数据，并存入所述机器学习样本集。

9.一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至8中任一项所述的机器学习样本集的自动化提取方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至8中任一项所述的机器学习样本集的自动化提取方法。