[发明专利]一种基于摘要的时间序列数据索引构建方法

说明书

一种基于摘要的时间序列数据索引构建方法，属于大数据以及数据库技术领域。其核心内容是将时间序列数据分成小的时间片段，然后用线性拟合的方法压缩表示每个时间片段以形成该片段的摘要，对于压缩后的摘要数据构建树状索引结构；当需要可视化查询时，基于构建的索引结构采用增量式可视化技术，确保可视化方法准确高效，而且索引结构建立一次，可供多次查询使用。本方法构造的树状索引结构中，自上而下节点的拟合误差由大变小，可以按照不同查询精度查询展示而且查询结果只搜索索引结构，相比每次查询扫描原始数据数据量大大减小，确保在用户规定的时间延迟内返回查询结果，确保可视化方法高效。

技术领域

本发明涉及一种基于摘要的时间序列数据索引构建方法，属于大数据以及数据库技术领域。

背景技术

时间序列数据表示由传感器网络、金融市场、医疗保健、监控和其他诸多领域中产生的流式数据。随着高频流式数据源的激增，迫切需要针对大量数据的交互式分析和实时可视化技术。例如趋势分析、模式识别、相关性分析、交互式数据发现等。

一个时间序列数据可视化的典型例子是显示一个传感器在特定时间范围的值。现在的可视化工具处理该问题，一般分为两种方法：第一种首先从数据库中查询所有满足条件的值，交由可视化模块渲染展示。这种方式需要反馈大量数据从而导致数据传输过程中消耗很大的带宽进而造成很高的延迟。第二种是首先在对查询的结果进行数据压缩，然后返回给可视化模块，这样可以极大的减少数据传输过程中的带宽消耗，但是在压缩数据时，仍然需要扫描所有符合查询条件的数据，这个过程时间代价仍然很高。为了降低扫描压缩数据的时间，可以利用数据摘要算法来压缩时间序列数据的存储量。但两种方法都具有查询时延长、数据传输量大的缺陷。

发明内容

本发明的目的旨在解决目前常用可视化方法在处理海量时间序列数据时，遇到的查询时延长、数据传输量大的缺陷，提出了一种基于摘要的时间序列数据索引构建方法。

本发明一种基于摘要的时间序列数据索引构建方法，核心内容是：将时间序列数据分成小的时间片段，然后用线性拟合的方法压缩表示每个时间片段以形成该片段的摘要，对于压缩后的摘要数据构建树状索引结构；当需要可视化查询时，基于构建的索引结构采用增量式可视化技术，确保可视化方法准确高效，而且索引结构建立一次，可供多次查询使用。

一种基于摘要的时间序列数据索引构建方法，通过以下步骤实现：

步骤1：基于时间序列数据，初始化系统参数；

其中，系统参数包括时间序列标号、分段最大误差以及树状索引结构中间节点的子节点个数基准、时间序列片段数组以及保存索引结构时初始化内存缓冲区的大小；

其中，时间序列标号，记为i，代表时间序列数据T中第i个时刻，此第i个时刻的值记为v_i，第i时刻记为t_i，下标_i是大于等于0的整数；将原始时间序列分段时最大的误差，即分段最大误差记为ε；树状索引结构中间节点的子节点个数基准记为B，B是一个大于0的整数；时间序列片段数组，记为U，初始化为空；保存索引结构时初始化内存缓冲区的大小，记为X，单位是兆字节；

步骤2：对时间序列数据进行分段，输出时间序列片段并保存到时间序列片段数组中；

对时间序列数据进行分段可以按照等间隔分段，还可以按照不等间隔分段；若为不等间隔分段，可使用《文献1》中提出的旋转门算法进行分段；

《文献1》：Bristol E H.Swinging door trending:adaptive trend recording[C]//ISA National Conference Proceedings.1990,45；其中，文献1中所述的算法输入对应本专利中的时间序列数据T，文献1中所述算法里的误差对应本发明中分段最大误差ε；