[发明专利]基于多粒度过滤的日志数据收集方法及系统

说明书

本发明公开了基于多粒度过滤的日志数据收集方法及系统，包括以下，获取已有的日志数据，确定已有的日志数据的聚类个数C，并从已有的日志数据中随机挑选相应的C个日志数据作为C个聚类数的聚类中心v_i；计算所有的已有的日志数据到每个聚类中心的距离d_ij，并将每个日志数据归于与其计算距离最小的聚类中心对应的类别中；将每个数据类别中的数据的特征值进行平均以得到更新的聚类中心v_i；最终形成C个稳定的数据类别；获取未知的日志数据，计算并提取C个距离中距离最小的k个距离对应的稳定的数据类别；计算并选取隶属度计算值最高的的数据类别，将未知的日志数据存入该数据类别中。本发明能够较佳的对复杂的日志数据进行归类，方便了日志数据的管理。

技术领域

本公开涉及数据处理技术领域，具体涉及基于多粒度过滤的日志数据收集方法及系统。

背景技术

用户终端在运作时都会产生一个叫log的事件记录；每一行日志都记载着日期、时间、使用者及动作等相关操作的描述，日志包括很多种类，如应用程序日志、安全日志、系统日志等等。用户在用户终端上进行操作时，这些日志文件通常会记录下用户操作的一些相关内容，这些内容对系统安全工作人员相当有用。举例来讲，有人对系统进行了IPC探测，系统就会在安全日志里迅速地记下探测者探测时所用的IP、时间、用户名等，用FTP探测后，就会在FTP日志中记下IP、时间、探测所用的用户名等。

现有的日志数据往往通过人工进行归类整理，这无疑是一个庞大的工作，需要大量的人力物力，甚至对于一些归类粒度复杂的日志来说，人工处理就更为麻烦了。

发明内容

本公开提供基于多粒度过滤的日志数据收集方法及系统，以解决现有技术中所存在的一个或多个技术问题，至少提供一种有益的选择或创造条件。

为了实现上述目的，根据本公开的一方面，提供基于多粒度过滤的日志数据收集方法，所述方法包括以下步骤：

S100，获取已有的日志数据，确定已有的日志数据的聚类个数C，并从已有的日志数据中随机挑选相应的C个日志数据作为C个聚类数的聚类中心v_i，i∈[1，C]；

S200，计算所有的已有的日志数据到每个聚类中心的距离d_ij，并将每个日志数据归于与其计算距离最小的聚类中心对应的类别中，形成C个数据类别；

S300，将每个数据类别中的数据的特征值进行平均以得到更新的聚类中心v_i；

S400，重复步骤S200-S300直到聚类中心趋于稳定，最终形成C个稳定的数据类别；

S500，获取未知的日志数据，计算未知的日志数据与C个稳定的数据类别的欧氏距离范数得到C个距离d_q，其中q∈[1，C]；

S600，提取C个距离中距离最小的k个距离对应的稳定的数据类别；

S700，计算未知的日志数据与k个距离对应的稳定的数据类别之间的隶属度，选取隶属度计算值最高的的数据类别，将未知的日志数据存入该数据类别中。

进一步，上述步骤S300中计算得到更新的聚类中心v_i的方法具体包括以下，

将已有的日志数据设为数据集X＝{X₁，X₂，...,X_n},其中每个数据对象X_j具备s个属性，即X_j＝{X_j1，X_j2，...,X_js}，其中X_jk是数据对象X_j的第k维属性，k取[1，s]；

每个特征值的计算公式如下，