[发明专利]类脑分层记忆机制启发的异常数据流在线校准系统

权利要求书

1.类脑分层记忆机制启发的异常数据流在线校准系统，其特征是：包括顺序相连的缺失数据填补模块、维度约简模块、多维计数布隆过滤器模块、分层记忆库模块、经验知识库模块和校准后的数据块模块；

缺失数据填补模块用于填补数据流批处理环节数据块中缺失的数据；

维度约简模块用于将数据块中的高维数据进行低维表示；

多维计数布隆过滤器模块用于判断新数据样本是否异常，判断方法为：当分层记忆库模块中存在与新数据样本的相似度大于设定值的历史数据样本时，则新数据样本正常；反之，则新数据样本异常；

多维计数布隆过滤器为多维布隆过滤器和计数矩阵的结合，多维布隆过滤器为布尔型二进制编码矩阵，计数矩阵为非负整型矩阵，布尔型二进制编码矩阵和计数矩阵都包含d行m列，d是经过维度约简模块处理后的数据维度，m是用来进行数据元素编码的全体二进制位数量，布尔型二进制编码矩阵用于对每一条数据样本进行编码，每一个数据元素会将编码向量中的w位置1，计数矩阵用于记录布尔型二进制编码矩阵中相应位置被置1的次数；结合方式为多维布隆过滤器中的每一位编码被置1的次数存储在计数矩阵中与该编码对应的位置；

布尔型二进制编码矩阵的编码步骤如下：

(1)计算数值表征的均值和分辨率，公式如下：

式中，offset为每一个属性的均值，resolutions为每一个属性的分辨率，offset和resolutions均是1×d的向量，i为其中一个维度索引，0≤i≤d-1，I₀(j,i)表示第0个数据块中的第j个样本的第i个属性，0≤j≤N-1，N为第0个数据块中的全部样本数量；

(2)构建两个d×m初始化为全零元素的二进制矩阵，分别为O和E；

(3)均值offset被以w＝49个连续的1表示，并存储到O的中间部分，即索引位的976位到1024位全为1，其他位全为0，同属性下新数值的编码按照分辨率大小左右移动，左移代表数值小于均值，右移是指数据大于均值，每一属性能被编码的有效取值范围如下：

(4)选取m＝2001个哈希函数使得O中每一位的哈希值都能对应E中的某一位，即哈希值大小属于区间[0，m-1]且哈希值之间互不重复；

相似度的计算公式如下：

式中，similarity_v为分层记忆库模块中的第v个历史数据样本与新数据样本的相似度，overlapping_i为新数据样本中第i个元素与多维布隆过滤器中第i维属性中被置1编码的重叠位数，k是指新数据样本中的编码每个元素需要置1的数量，d为新数据样本的维数数量，i＝0,1,2，...,d-1；

分层记忆库模块用于存储维度约简模块处理后的历史数据样本，并计算历史数据样本的记忆痕迹量，根据记忆痕迹量的大小进行排序，将最高的一部分纳入长时记忆层，次高的一部分纳入短时记忆层，最低的剩余部分纳入瞬时记忆层；

记忆痕迹量的计算公式如下：

mr_v:＝mr_v+similarity_v；

式中，mr_v为分层记忆库模块中的第v个历史数据样本的记忆系数，z_v为分层记忆库模块中的第v个历史数据样本的记忆痕迹量，为遗忘因子，其中b_v代表分层记忆库模块中的第v个历史数据样本最近一次被记忆或者回忆起的数据块标号，b代表着已处理数据块的标号，ε为平衡项，ε＝10^-6；

经验知识库模块用于存储经缺失数据填补模块处理但未经维度约简模块处理的历史数据样本；

分层记忆库模块和经验知识库模块中的历史数据样本通过唯一的ID彼此相连；

多维计数布隆过滤器模块和分层记忆库模块还用于相互配合进行替换，分层记忆库模块和经验知识库模块还用于相互配合进行更新；

替换和更新具体为：当新数据样本异常时，查询长时记忆层中记忆痕迹量最高的历史数据样本，用历史数据样本替换新数据样本，更新该历史数据样本的记忆痕迹量，更新分层记忆库模块，删除分层记忆库模块中记忆痕迹量最低的历史数据样本以及其在多维计数布隆过滤器和经验知识库模块中的相关内容；当新数据样本正常时，按照长时记忆层、短时记忆层和瞬时记忆层的顺序遍历分层记忆库模块，查找与新数据样本相似度高于设定值的历史数据样本并更新其记忆痕迹量，用新数据样本替换分层记忆库模块中记忆痕迹量最低的历史数据样本，更新新数据样本的记忆痕迹量，更新分层记忆库模块，将新数据样本存储在经验知识库模块中，删除多维计数布隆过滤器和经验知识库模块中与分层记忆库模块中记忆痕迹量最低的历史数据样本相关的内容；

校准后的数据块模块用于存储替换和更新后的新数据样本。