[发明专利]一种多维时空数据抽稀与还原算法

说明书

本发明涉及数据管理，具体涉及一种多维时空数据抽稀与还原算法，将多维时空数据进行相关性分类，划分为多个数据桶，求出每个数据桶中的关键时间值，得到所有数据桶的时间值集合，基于时间值集合从原始数据中抽取对应测点值，得到压缩结果，在时间值集合中获取待还原时间点所在区间，并计算数据桶在待还原时间点处的测点值，进而得到每个维度的还原结果；本发明提供的技术方案能够有效克服现有技术所存在的难以在减少资源消耗的同时减少数据特征丢失、无法对抽稀后的数据进行有效还原的缺陷。

技术领域

本发明涉及数据管理，具体涉及一种多维时空数据抽稀与还原算法。

背景技术

随着物联网设备的爆发式增长，在收集、存储、处理和应用物联网数据时，对网络带宽、存储占用、图形渲染等资源都的消耗都在日趋增长。

随着卫星导航、互联网技术和共享经济的快速发展，高精度定位需求愈发强烈，为了满足高精度定位需求，需要采集大量监控数据，并将监控数据转换为行驶轨迹，通过监控视图，使得监管人员能够及时知悉运行状态。

在采集监控数据时，可以采用较精细的粒度采集监控数据，例如，以秒为单位采集监控数据。当监管人员查看一段时间内的监控数据时，由于数据量非常大，将导致监控数据绘制监控曲线的性能大幅下降。而且，大多数的监控数据都是正常运行状态下的数据，不会触发监控告警，监管人员无需关注正常运行状态下的数据，因此监控数据中包含了大量冗余数据。在这种情况下，监控视图需要显示非常多的数据点，导致监控视图清晰度降低。

为了解决上述问题，传统技术中可以采用基于实时数据处理工作流(SparkStreaming)处理监控数据。具体的，可以将监控数据划分为多段，对每段监控数据进行汇聚计算，将汇聚计算后的数据绘制成曲线，例如：计算每段监控数据的平均值，将每段监控数据的平均值绘制成曲线。虽然，监控数据经过汇聚计算后数据量有所减少，提高了绘制曲线的性能和清晰度，但是，汇聚计算后的数据无法准确地反映数据特征。因此，如何在减少监控数据的数据量的同时，尽量减少数据特征丢失是一个亟待解决的问题。

发明内容

(一)解决的技术问题

针对现有技术所存在的上述缺点，本发明提供了一种多维时空数据抽稀与还原算法，能够有效克服现有技术所存在的难以在减少资源消耗的同时减少数据特征丢失、无法对抽稀后的数据进行有效还原的缺陷。

(二)技术方案

为实现以上目的，本发明通过以下技术方案予以实现：

一种多维时空数据抽稀与还原算法，包括以下步骤：

将多维时空数据进行相关性分类，划分为多个数据桶；

求出每个数据桶中的关键时间值，得到所有数据桶的时间值集合；

基于时间值集合从原始数据中抽取对应测点值，得到压缩结果；

在时间值集合中获取待还原时间点所在区间，并计算数据桶在待还原时间点处的测点值，进而得到每个维度的还原结果。

优选地，所述将多维时空数据进行相关性分类，划分为多个数据桶，包括：

将多维时空数据按照时间+空间的3D/4D数据，或者时间+若干个任意度量值切分为多个数据桶，记为B。

优选地，所述求出每个数据桶中的关键时间值，得到所有数据桶的时间值集合，包括：

针对各数据桶，设定符合数据特性的关于度量值的距离函数d＝f(x_s,x_e,x_m)，用于计算点x_m到点x_s、x_e构成直线的距离；

基于每个数据桶度量值的业务属性设定误差容忍阈值v；