[发明专利]一种基于小波时序树状概要的城市公共数据流融合方法

权利要求书

1.一种基于小波时序树状概要的城市公共数据流融合方法，其特征在于：所述融合方法包括以下步骤：

1)数据预处理：开始到达的数据作为第0层，每一时间段到达的数据流片段平均包含m个数据，假设每m个数据组成一个子序列，记为d_i，对d_i进行预处理，包括对数据进行空缺值处理，去离群点；

2)压缩处理：对每m个数据d_i进行压缩操作，生成第1层的压缩数据节点P_i，i＝(1,2,3…)，构造一个非线性衰减函数：

fi=-αe-(ti-t0)+β---(1)]]>

其中：α,β为衰减速度因子，α+β=1,α>β,α,β∈[0,1]，用于对衰减函数进行调整以提高精确度，t₀表示初始时刻，则在时刻t_i，数据节点P_i的加权值为P_if_i，数据节点的压缩采用离散小波变换变换，Φ分量中保存变换得到的r个最重要的小波系数；

随着新数据的不断到来，第1层上的压缩数据节点不断增加，达到设定数量时，将最老的m个数据节点{P₁’,P₂’，...,P_m’}进行归并，合并成第2层上的一个数据节点，并计算数据节点的概要信息，以此逐层向上，从而使得该数据流总是被压缩成一组分层次的数据节点；在整个计算过程中，内存中始终只存储n个数据节点，不断淘汰旧的数据；

3)小波系数的筛选：规范化小波系数，将每个系数除以即变化为其中l是层数，重构误差的度量标准决定了最重要小波系数的选择，小波系数的筛选过程遵循以下原则：

a、绝对值大的系数的缺失会对相关数据值的重构有更大的影响；

b、从结构树上易知，越接近根节点的系数用于重构时影响的数据越多，具有更大的重要性，运用误差平方和sse：

sse(D,D′)=Σi=1n(xi-xi′)2---(2)]]>

来进行小波系数的筛选，系数重要性的衡量基于sse最小化，使得Φ中保留了r个绝对值最大的系数；

4)基于小波变换的树状概要结构的动态维护：动态更新概要树的节点，根据数据节点可加性原则，将l_i层上最老的m个节点合并到l_i+1层，并将l_i层余下的节点重新计数，同时将这m个老的数据移出内存，完成数据融合。

2.如权利要求1所述的基于小波时序树状概要的城市公共数据流融合方法，其特征在于：所述步骤1）中，假设数据流中数据的属性个数为a，如果空缺属性个数则认为该条数据是无效的，直接过滤；反之，将空缺属性补充为该属性所有取值的平均值，随后采用中位数绝对值偏差(MAD)方法确定该数据流中的离群点，并删除。