[发明专利]一种基于数据降维压缩的图像处理方法和系统

说明书

本发明公开了一种基于数据降维压缩的图像处理方法和系统，属于数据处理领域。首先在分布式代理，即子代理上利用随机高斯矩阵和子空间轨道法对分布式数据进行快速矩阵分解，对分解结果进行设定维度的截取；然后，通过子代理将截取后的分解结果传输至主代理，即中心代理；最后，中心代理利用接受到的子空间矩阵，对全局数据矩阵进行重构，并得到最终的近似重构结果。本发明使用分布式方式完成主成分分析过程，数据传输压力相对传统分布式主成分分析算法更小，运算速度相较传统分布式主成分分析算法更快，同时运算结果精度高。

技术领域

本发明属于数据处理领域，涉及一种基于数据降维压缩的图像处理方法和系统。

背景技术

主成分分析可被用于提取最能描述高维数据的子空间，将原始数据投影到低维子空间上可以捕获最大的数据变化。主成分分析在信号处理和机器学习中发挥着至关重要的作用，包括人脸识别、图像处理中的泊松降噪、张量分解、字典学习、信号子空间提取、低秩优化、实时在线故障监测和基因表达分析中的缺失数据插补。随着传感器技术和设备存储的发展，如今海量数据被收集并存储在由地理区域划分的数据存储装置上，主代理服务器收集并同步来自分散数据库，即子代理服务器的数据以进行集中式主成分分析。在这种背景下，分布式主成分分析有着很大的研究价值。分布式主成分分析技术使代理网络能够实现或近似集中式主成分分析解决方案，而每个代理进行简单的计算和交换信息，无需传输原始数据。

分布式主成分分析算法的设计取决于网络拓扑和数据分区模型。网络拓扑结构主要有网状网络和星型网络(主从结构)。在网状网络中，所有代理扮演同等角色；在星型网络中，主代理协调星型网络中的其他子代理。数据分区模型主要包括分布式列观察(DCO)和分布式行观察(DRO)模型。针对这些模型，已有成熟的算法被开发并应用，比如传统的功率方法扩展到分布式环境、分布式Oja实现等。然而对于大规模本地数据矩阵，在每个从代理上运行完整的奇异值分解对代理的运算能力有一定要求，且计算速度较慢，无法完成快速数据处理。

发明内容

本发明的目的在于克服上述现有技术中，图像处理方法存在数据处理缓慢的缺点，提供一种基于数据降维压缩的图像处理方法和系统。

为了达到上述目的，本发明采用以下技术方案予以实现：

一种基于数据降维压缩的图像处理方法，包括以下步骤：

步骤1)在星形结构分布式系统中获取采样数据，将采样数据归类为若干个子代理，基于子代理搭建本地数据矩阵；

步骤2)对本地数据矩阵进行矩阵幂方法迭代运算，直至运算次数达到预先设定的值，得到若干个临时矩阵；

步骤3)对临时矩阵做多次分解处理，得到子空间矩阵，对子空间矩阵进行维度截取，子代理将截取后的子空间矩阵传输至星形结构分布式系统的主代理中；

步骤4)基于子代理传输的数据，主代理重建各子代理的本地数据矩阵，将重建结果拼接成全局数据矩阵，之后对全局数据矩阵依次进行分解和维度截取，再使用截取后的子空间矩阵重建新的全局矩阵，基于重建的新的全局矩阵，完成对图像的处理。

优选地，步骤2)具体为：

步骤21)算法初始化，子代理随机生成一个维度为d×l的随机高斯矩阵Φ；

步骤22)进行第一次循环运算，构建临时矩阵T₁和T₂，对本地信息X_i做自相关处理，

T₁＝X_iΦ，

步骤23)进行第二次及后续循环运算，直到循环次数达到阈值q，

T₁＝X_iT₂，