[发明专利]适用于传感器掉电导致数据缺失的时间序列修复方法

说明书

本发明涉及一种适用于传感器掉电导致数据缺失的时间序列修复方法、计算机设备及计算机可读存储介质，该方法包括：获取传感器测量所得的多元时间序列矩阵，确定传感器掉电导致数据缺失片段的长度及位置；对多元时间序列矩阵进行张量汉克尔化，将多元时间序列矩阵映射到三维张量，三维张量的三个维度分别为多元变量、时延、时序；基于随机梯度下降的机器学习方法，对三维张量进行张量分解，分解为多元变量嵌入、时延嵌入和时序嵌入；将求解得到的多元变量嵌入、时延嵌入和时序嵌入以张量积的形式重构为三维张量的估计张量；利用重构得到的估计张量，填补多元时间序列矩阵中的数据缺失片段。本发明能够更为准确修复传感器掉电导致的数据缺失。

技术领域

本发明涉及传感器测量及计算机处理技术领域，尤其涉及一种适用于传感器掉电导致数据缺失的时间序列修复方法、计算机设备及计算机可读存储介质。

背景技术

随着大数据技术不断发展，多元传感器连续测量得到的时间序列数据越来越常见，应用也越来越广泛，使得关于传感器时间序列数据的分析、挖掘和预测成为当下的热点。时间序列数据的分析与挖掘需要以序列的完整性为前提，但是实际生产生活中可能遇到各种故障，例如网络瘫痪、记录设备异常和存储设备故障等情况，会导致部分测量数据丢失。因此，如何修复时间序列中存在的缺失片段成为亟待解决的问题。

修复时间序列缺失数据的难点在于时间序列特征的复杂性和缺失的多样性。目前，国内外采用的时间序列修复方法大致可以分为基于模型的方法和基于序列相似性的方法两大类。

基于模型的方法通常使用先验知识将数据的产生过程用一个模型表示，比如线性动态系统，深度神经网络等，然后利用机器学习、最优化等理论方法求得模型的参数，进而从模型中推导缺失的数据值。基于序列相似性的方法则是出于相似的模式语义在时间序列中反复出现的认知，在时间序列的完整片段上抽取与缺失片段的上下文片段相似的部分，用完整片段上相应位置的数据值的语义填充缺失位置。

但这两类方法均有其局限性。对于基于模型的方法，其修复效果受限于模型的表达能力和求解模型参数的方法对数据的要求。比如线性动态系统模型对于修复非线性时间序列的效果比较糟糕；基于深度神经网络模型的方法中，由于机器学习过程的梯度下降方法固有的梯度消失问题，对数据的缺失程度有较高的要求。而对于基于序列相似性的方法，由于传感器测量的数据序列不一定具有很强的周期性，例如空气质量、城市用电、天然气开采平台记录数据等，使得基于缺失片段上下文抽取的相似序列匹配并不能很好地反映数据缺失片段上的特征与模式，进而对于数据缺失片段周围产生较大的偏移。尤其是当缺失片段长度较大时，这一现象尤为明显。

传感器掉电(blackout)导致数据缺失会使得一段时间内所有传感器的记录数据全部丢失，即，使传感器测量得到的多元时间序列矩阵中存在整段的数据缺失片段。现有的工作在这种情况下，对缺失值的恢复效果不好，难以满足对时间序列的分析与挖掘的要求。

发明内容

(一)要解决的技术问题

本发明要解决的技术问题是解决现有技术在传感器掉电导致数据缺失的情况下，对时间序列缺失值修复效果不佳、准确度差的问题。

(二)技术方案

为了解决上述技术问题，本发明提供了一种适用于传感器掉电导致数据缺失的时间序列修复方法，该方法包括如下步骤：

S1、获取传感器测量所得的多元时间序列矩阵，确定传感器掉电导致数据缺失片段的长度及位置；

S2、对所述多元时间序列矩阵进行张量汉克尔化，将所述多元时间序列矩阵映射到三维张量，所述三维张量的三个维度分别为多元变量、时延、时序；

S3、基于随机梯度下降的机器学习方法，对所述三维张量进行张量分解，分解为多元变量嵌入、时延嵌入和时序嵌入；

S4、将机器学习方法求解得到的多元变量嵌入、时延嵌入和时序嵌入以张量积的形式重构为所述三维张量的估计张量；