[发明专利]一种基于小波时序树状概要的城市公共数据流融合方法

说明书

技术领域

本发明涉及人工智能、数据挖掘技术领域知识，具体涉及一种基于小波时序树状概要的城市公共数据流融合方法。适用于我国各城市对该城市海量公共数据流有效快速压缩处理。。

背景技术

城市公共安全状况，是一个国家竞争力和国家形象的重要标志。随着城市聚集人口和积累财富的不断增长，城市的重要性日趋明显，然而也使其面临越来越多的安全挑战。自然灾害频度和强度的增大、各类社会事故的增长以及恐怖主义的威胁，对城市预防灾害及应付突发事件的能力提出了更为严峻的要求。

近年来，针对城市空间数据集成与共享，我国先后投入大量资金，设立专项进行应用研究。其中代表性的有国家科技攻关计划“中国可持续发展信息共享系统的开发研究”、国家科技发展专项“国家基础地质数据库整合与集成”等等。这些项目的实施，大大促进了我国科学数据共享和数据社会化服务程度的提高。尤其是“科学数据共享工程”的实施，从理论基础、法律法规体系建设、科学数据共享机制、标准体系建设、科学数据共享工程的总体框架、技术平台框架等方面进行了卓有成效的研究。例如：科学数据共享工程：科学数据共享工程是在国家科技基础条件平台统一规划、政策调控和相应法规的保障下，应用现代信息技术，整合离散的科学数据资源，构建面向全社会的网络化、智能化的管理与共享服务体系，实现对科学数据资源的规范化管理及其高效利用。

数据融合技术作为信息处理关键技术之一，是指利用计算机对按时序获得的若干观测信息，在一定准则下加以自动分析、综合，以完成所需的决策和评估任务，包括对各种信息源给出的有用信息的采集、传输、综合、过滤、相关及合成，以便辅助人们进行态势/环境判定、规划、探测、验证、诊断。根据融合前后数据信息含量差别，数据融合可分为无损融合（无损压缩）和有损融合（有损压缩）。典型的无损数据压缩有：Huffman编码、LZSS、LZW、分布式信源编码、报头压缩及数据包合并；有损数据压缩主要有：基于小波变换(wavelettransform)的数据压缩、压缩感知等。

发明内容

为了克服传统城市公共数据流融合的不足，本发明引入中位数绝对值偏差方法，结合离散小波变换方法，提出一种基于小波时序树状概要的城市公共数据流融合方法，能够高效、高质量得对城市公共数据流进行融合。

本发明解决其技术问题所采用的技术方案是：

一种基于小波时序树状概要的城市公共数据流融合方法，所述融合方法包括以下步骤：

1)数据预处理：开始到达的数据作为第0层，每一时间段到达的数据流片段平均包含m个数据，假设每m个数据组成一个子序列，记为d_i，对d_i进行预处理，包括对数据进行空缺值处理，去离群点；

2)压缩处理：对每m个数据d_i进行压缩操作，生成第1层的压缩数据节点P_i，i＝(1,2,3…)，构造一个非线性衰减函数：

fi=-αe-(ti-t0)+β---(1)]]>

其中：α,β为衰减速度因子，α+β=1,α>β,α,β∈[0,1]，用于对衰减函数进行调整以提高精确度，t₀表示初始时刻，则在时刻t_i，数据节点P_i的加权值为P_if_i。数据节点的压缩采用离散小波变换变换，Φ分量中保存变换得到的r个最重要的小波系数；