[发明专利]一种数据中心日志缺失数据恢复方法

摘要

本发明公开一种数据中心日志中缺失数据的恢复方法，首先使用相关性分析方法发掘数据中心日志中不同数据属性的相关性，选取最优数据属性子集，并使用一个两阶段离散化步长优化算法对数据进行离散化优化；然后将选取的最优数据属性子集作为张量的属性，构建一个稀疏张量；最后使用基于张量分解的张量补全方法，对稀疏张量进行补全，得到一个稠密张量；将该稠密张量与原始不完整日志数据结合，得到一个完整的日志数据集。

主权项

1.一种数据中心日志缺失数据恢复方法，其特征在于：包括以下步骤：(1)初始化，设日志中共有n个数据属性，m条记录。则数据属性集合可以表示为A，A＝{a₁，a₂，…a_n}，日志中的数据记录集合可以表示为E，E＝{e₁，e₂，…e_m}，日志中的数据可以表示为其中，v_ij表示第j条数据记录中第i个数据属性的值，带有缺失数据的数据属性记做a_T；(2)数据属性选取。2.1)选取所有可能与目标缺失数据属性有相关关系的数据属性作为候选数据属性集合A′，A′＝{a₁，a₂，…a_n′}；2.2)构建数据选取阶段的离散化规则集Rule，其中每一条规则为r_i＝{r_i1，r_i2，…r_in′}，r_ij表示第i条规则对候选属性a_j的离散化箱数。即在由离散化分箱数下界N_L，离散化分箱数上界NH，属性选取离散化步长S₁确定的搜索空间中，遍历所有数据属性与离散化分箱数的组合；2.3)使用每一个离散化规则r_i∈Rule对数据离散化，使用离散化规则r_i离散化后的日志数据可以表示为然后逐个进行数据属性选取；2.4)对选取结果集合Result中的所有选取结果进行计数，将出现频率最高的数据属性选取集合作为最终的数据属性选取结果A_S，A_S＝{a₁，a₂，…a_q}；(3)离散化粒度优化3.1)构建离散化粒度优化阶段的离散化规则集Rule′，其中每一条规则为r′_i＝{r′_i1，r′_i2，…r′_iq}，r′_ij表示第i条规则对候选属性a_j的离散化箱数。即在由离散化分箱数下界N_L，离散化分箱数上界N_H，属性选取离散化步长S₂确定的搜索空间中，遍历所有数据属性与离散化分箱数的组合；3.2)基于选取的数据属性子集A_S，使用每一个离散化规则r′_i∈Rule′，进行数据离散化，使用离散化规则r_i离散化后的日志数据可以表示为对离散化后的日志数据计算加权变异系数(Weighted coefficient of variation，WCV)；3.3)选取WCV值最小的数据离散化结果作为最终的数据离散化结果，离散化后的日志数据记做4)张量构建和张量补全4.1)使用离散化后的日志数据V^F以及目标数据属性a_T构建张量。设每个数据属性a_i∈A_S上的离散数值个数为则构建一个q维张量4.2)使用CP分解方法对张量补全，分解过程使用梯度下降法求解。；5)日志数据恢复对每一个带有缺失数据的记录e_i在数据属性A_S＝{a₁，a₂，…a_q}上的数值分别为{v^F_i1，v^F_i2...，v^F_iq}，通过映射M获取{v^F_i1，v^F_i1...，v^F_iq}对应的排列序号{d_i1，d_i2...，d_ij}，则使用补全后的张量值对缺失数据进行恢复。