[发明专利]基于spark大数据平台的日志信息类型提取方法、挖掘方法

权利要求书

1.基于spark大数据平台的日志信息类型提取方法，其特征在于，包括：

步骤S1，预处理离线日志数据，过滤掉不能识别的日志条目，过滤后的日志数据存入HDFS中；

步骤S2，将常规变量替换为通配符，同时对日志条目进行规整处理，完成简单的通配化处理，并将通配化处理后的数据临时存入HDFS中；

步骤S3，将通配化处理后的数据根据时间窗进行过滤，将日志数据过滤拆分成有效日志集合和无效日志集合，去重后临时存入HDFS中；

步骤S4，针对步骤S3得到的有效日志集合和无效日志集合，将日志集合转换成以日志信息为元素的一维数组，根据数组长度相同的一维数组结合形成二维数组，并进行特征位置分割，再将二维数组合并成一维数组，形成完整的日志消息类型，最终结果存入HDFS中；

所述步骤S3中根据时间窗进行过滤的方法为：

步骤S31，从通配化处理后临时存入HDFS的数据中取出数据，记为C；

步骤S32，设置时间戳T，第一次执行取基础时间戳T＝t1，将取出的日志数据C根据日志头部的时间按照T进行分割，形成多个集合时间小于等于T的时间窗日志集合其中C_i表示第i个集合，K为分割的集合数量,集合时间是指日志集合C_i中最晚日志时间与最早日志时间之差；

步骤S33，取日志条数最大的日志集合中的每条日志，如果某条日志在所有的日志集合中，则认为该条日志为无效日志，将该无效日志存入临时的无效日志集合C_invalid中，同时在原日志集合中删除；

步骤S34，重新取时间戳T＝t1*(2^N)，其中N为循环执行次数，重复执行步骤S32-S33，如果T大于取出数据C的最早日志时间T_min和最晚日志时间T_max之差则退出循环，将剩下的日志数据存入临时的有效日志集合C_valid。

2.如权利要求1所述的基于spark大数据平台的日志信息类型提取方法，其特征在于，所述步骤S1中的过滤方式采用以下方法：将日志数据的每条日志的头部信息进行时间的正则匹配，匹配成功则放入HDFS中。

3.如权利要求1所述的基于spark大数据平台的日志信息类型提取方法，其特征在于，所述步骤S31中，从通配化处理后临时存入HDFS的数据中取出数据时，取出一天或者几天或者全部数据。

4.如权利要求1所述的基于spark大数据平台的日志信息类型提取方法，其特征在于，所述步骤S33中，如果日志数据C起止不完整，第一个日志集合C1和最后一个日志集合C_k集合时间小于T，则排除第一个日志集合C₁和最后一个日志集合C_k。