[发明专利]基于张量压缩方法的流数据处理方法、装置及设备

说明书

本公开的实施例提供了一种基于张量压缩方法的流数据处理方法、装置及设备，涉及数据处理领域。所述方法包括对流数据的数据矩阵进行采样，提取多个矩阵；对采样得到的矩阵进行张量化处理，得到三阶张量；对所述三阶张量进行Tucker分解，得到压缩矩阵；利用所述压缩矩阵对流数据的数据矩阵进行低秩逼近求解。以此方式，得到的压缩矩阵提取了流数据的主要特征，保证高精度的同时提高了效率。

技术领域

本公开涉及数据处理领域，尤其提供一种基于张量压缩方法的流数据处理方法、装置及设备。

背景技术

流数据是指由一个或几个分布连续生成的数据，其包括多种数据如信号流、视频流、高光谱图像等。在实际应用中，通常需要对这些数据进行批处理或实时处理，而大多数数据处理可转化为在矩阵上的基本运算。例如视频流的压缩、去噪和特征提取任务等同于求解矩阵低秩逼近问题。为满足流数据的批处理或实时处理需求，则需要根据流数据的结构设计快速有效的算法。

流数据低秩逼近问题是对一系列由某个或几个分布连续生成的矩阵做低秩逼近。直接的方法是依次计算这些矩阵的奇异值分解，Eckart-Young定理保证了该方法能够得到最佳低秩逼近，但该方法的计算成本很高，不足以满足如流数据的实时处理需求。

为降低计算成本，随机奇异值分解算法常用于近似求解这些矩阵的低秩逼近，例如经典随机奇异值分解算法-SCW算法，其伪代码如下所示：Input:Matrix A∈R^m×n,truncation rmin{m,n},sketch matrix S∈R^k×m；1:Q,~←QR decomposition of A^TS^T；2:[AQ]_r←truncated rank-r SVD of AQ；3:←[AQ]_rQ^T；Output；Low-rank approximationof A:。SCW算法的计算精度和效率依赖于输入的压缩矩阵S，理想的压缩矩阵应该包含输入矩阵A的左主奇异子空间。

构造压缩矩阵S的经典方法是通过某个分布随机生成如Gaussian、Cauchy和Rademacher分布等，根据这些分布生成的矩阵在一定程度上保留了输入矩阵A的距离信息。虽然随机生成的方案在构造压缩矩阵方面的时间成本基本可以忽略，但其得到的压缩矩阵没有充分利用流数据的局部连续性特点，所以导致SCW算法的计算精度往往较低。

Learning-based的方法则是通过从流数据中预先选定的训练样本中学习得到一个稀疏压缩矩阵，该方法因为考虑了流数据的局部连续性特点，所以提高了SCW算法的计算精度。但由于该方法是通过随机梯度下降法求解一个优化问题得到压缩矩阵的，而该优化问题的目标函数中含有奇异值分解算子，因此在迭代过程中需要计算奇异值分解算子的梯度。尽管通过幂迭代过程可实现对奇异值分解算子的梯度计算，但其不仅极大地增加了构造压缩矩阵的时间成本，而且在迭代过程中面临梯度消失或爆炸问题，其导致计算过程不稳定。另外，数值实验表明Learning-based的方法容易产生过拟合现象，其构造的压缩矩阵在用于推断时仍然使得SCW算法的计算精度不高。

发明内容

本公开提供了一种基于张量压缩方法的流数据处理方法、装置及设备。

根据本公开的第一方面，提供了一种基于张量压缩方法的流数据处理方法。该方法包括：对流数据的数据矩阵进行采样，提取多个矩阵；对采样得到的矩阵进行张量化处理，得到三阶张量；对所述三阶张量进行Tucker分解，得到压缩矩阵；利用所述压缩矩阵对流数据的数据矩阵进行低秩逼近求解。

根据本公开的第二方面，提供了一种基于张量压缩方法的流数据处理装置。该装置包括：采样模块，用于对流数据的数据矩阵进行采样，提取多个矩阵；张量化处理模块，用于对采样得到的矩阵进行张量化处理，得到三阶张量；分解模块，用于对所述三阶张量进行Tucker分解，得到压缩矩阵；低秩逼近模块，用于利用所述压缩矩阵对流数据的数据矩阵进行低秩逼近求解。