[发明专利]一种基于关联关系的双粒度噪声日志过滤方法

摘要

本发明公开了一种基于关联关系的双粒度噪声日志过滤方法。该方法基于局部依赖度和全局依赖度计算得到混合依赖度，通过本发明方法能够同时实现日志中噪声事件的细粒度过滤和噪声轨迹的粗粒度过滤。相比于传统的日志过滤方法，本发明具有如下收益：1、采用了双粒度过滤机制，对于不同的噪声情景使用不同的过滤机制，从而在尽可能保留原始日志数据的情况下实现了优秀的过滤效果；2、使用过滤后的日志文件用于流程挖掘能极大提高流程发现模型的精度，增强了模型的可理解性。

主权项

1.一种基于关联关系的双粒度噪声日志过滤方法，其特征在于包括以下步骤：(1)输入原始日志文件，对其进行数据预处理后生成由多条流程轨迹σ组成的一个日志集合每条流程轨迹由多个流程事件e_i组成σ＝<e₁，...，e_n>，记所有流程轨迹中所有流程事件e的集合为ε，即e∈ε；(2)统计日志集合中所有流程轨迹中两两流程事件之间的频次依赖度DFD(e_i，e_j)；(3)进一步计算出两两事件之间的局部依赖度Dep_local(e_i，e_j)，全局依赖度Dep_global(e_i，e_j)以及混合依赖度Dep_mixed(e_i，e_j)；所述局部依赖度Dep_local(e_i，e_j)计算公式如下：其中C₁、C₂为常数，D_suc(e_i)表示后继密度，即事件e_i的所有后继事件发生的平均频次；D_pre(e_j)表示前驱密度，用于表示事件e_j的所有前驱事件发生的平均频次；后继密度和前驱密度的计算公式如下：D_pre(e_k)＝N_pre(e_k)/|U_pre(e_k)|D_suc(e_k)＝N_suc(e_k)/|U_suc(e_k)|其中D_pre(e_k)为事件e_k的前驱密度，D_suc(e_k)为事件e_k的后继密度，N_pre(e_k)为以事件e_k为后继事件的跟随关系的数量，N_suc(e_k)为事件e_k为前趋事件的跟随关系的数量，U_pre(e_k)为事件e_k的前驱集合，|U_pre(e_k)|为事件e_k的前驱集合中的事件种类数，U_suc(e_k)为事件e_k的后继集合，|U_suc(e_k)|事件e_k的后继集合中的事件种类数；所述全局依赖度Dep_global(e_i，e_j)计算公式如下：θ＝Max{DFD(e_x，e_y)}其中ζ为全局噪声因子，用于划分全局噪声事件。所述混合依赖度Dep_mixed(e_i，e_j)计算公式如下：Dep_mixed(e_i，e_j)＝α*Dep_local(e_i，e_j)+(1‑α)*Dep_global(e_i，e_j)其中α权衡因子，用于平衡全局依赖度和局部依赖度的占有比例。(4)依据上一步中计算的混合依赖度构建日志集合中所有流程事件的混合依赖矩阵(5)开展日志噪声过滤，具体包含以下步骤：51)构建一个空的日志集用于存放过滤后的轨迹；52)取出日志集的一条轨迹σ，将σ的遗弃值初始化为1；53)获取σ的开始事件e_start并将开始事件e_start添加到一个空的事件序列σ_filter中；54)依照σ中的事件序列取出当前事件e_i；55)取出轨迹中当前事件的下一事件e_i+1；56)在中搜寻到e_i和e_i+1的混合依赖度Dep_mixed(e_i，e_i+1)，首先执行事件的细粒度过滤操作，如果Dep_mixed(e_i，e_i+1)的值不小于混合度阈值β，事件e_i+1被判定为正常事件，将其添加到轨迹σ_filter，e_i+1成为当前事件，下标i＝i+1，并返回步骤55)；如果Dep_mixed(e_i，e_i+1)的值小于混合度阈值β，事件e_i+1被判定为噪声事件，使用惩罚函数修改轨迹σ的遗弃值惩罚函数公式如下：其中为惩罚因子，决定惩罚函数的惩罚力度；若修正后的遗弃值不低于设定的遗弃阈值则返回步骤55)；若修正后的遗弃值低于遗弃阈值则执行轨迹的粗粒度过滤操作，轨迹σ被判定为噪声轨迹，返回步骤52)；57)如果事件e_i+1为当前轨迹σ的结束事件e_end，则将过滤轨迹σ_filter添加到过滤日志集中；58)重复步骤52)～步骤57)，直到原始日志集中的所有轨迹均被取出；59)输出过滤日志集(6)根据输出的过滤日志集重新生成日志文件。