[发明专利]一种可调权重的高维数据降维方法及系统

说明书

本发明公开了涉及数据降维技术领域，公开了一种可调权重的高维数据降维方法及系统，该降维方法，包括以下步骤：Step1，提取数据；Step2，获取属性权重矩阵；Step3，计算加权欧式点对距离；Step4，计算高维空间联合概率；Step5，获取低维空间点分布。本发明解决了现有技术存在的降维准确度较低、误差较大等问题。

技术领域

本发明涉及数据降维技术领域，具体是一种可调权重的高维数据降维方法及系统。

背景技术

目前人类社会正进入大数据时代，随着计算机信息技术的飞速发展，社会中各行各业逐渐数据化，越来越多的数据被产生、被存储。如何将这些复杂高维的数据转变为我们能够观测以及方便进一步使用的低维数据是一个急需解决的重要问题。现在大部分的降维方法分为线性与非线性，主要代表为PCA,MDS,t-SNE等，其中t-SNE通过条件概率来衡量高维空间和低维空间点对之间的相似度，并且将KL散度作为目标函数使得低维空间能保持较好嵌入效果，而正是由于t-SNE算法在计算高维空间点对的相似度时，采用了高斯核函数，因此不可避免的会计算点对之间的欧式距离。由于数据本身的特点，属性之间存在差异性，在计算欧式距离时，并不是每个数据属性的距离同等重要，所以采用欧式距离的高斯核函数可能并不能完全反映真实高维空间的概率结构，导致在此基础上的降维效果不够理想，很难根据数据特点来进行更加准确，灵活的降维，导致降维效果随着数据复杂性的增加而变弱。

现有一些对高维复杂数据降维聚类方法。专利《一种易混淆数字手写体的再识别方法》(中国专利公布号：CN 109034021 A，公开时间2018.12.18)将原始t-SNE高维空间点对距离计算进行分组加权，减小了降维误差，提高了再识别准确率。但是，此发明并没有考虑到原始数据中各个属性之前的差异性，只是对已经计算出的欧式距离进行分组加权，在分析多属性数据时仍然存在一定的局限性。专利《一种基于t-SNE的成绩聚类分析方法》(中国专利公布号：CN 111625576 A，公开时间2020.09.04)直接使用了t-SNE算法对高维学生成绩数据进行降维处理，虽然可视化实验结果表明对学生成绩数据降维有效果，但是针对于属性特征较强的学生成绩数据，没有考虑属性之间的关联性，而且缺乏对实验结果的量化对比指标。

发明内容

为克服现有技术的不足，本发明提供了一种可调权重的高维数据降维方法及系统，解决现有技术存在的降维准确度较低、误差较大等问题。

本发明解决上述问题所采用的技术方案是：

一种可调权重的高维数据降维方法，包括以下步骤：

Step1，提取数据：提取n个m维的高维数据，形成n*m的数据矩阵X；

其中，x_ik为高维数据的第i行第k列数据，n＞2且为正整数，m＞3且为正整数，i为正整数且1≤i≤n，k为正整数且1≤k≤m；

Step2，获取属性权重矩阵：对数据矩阵X进行属性权重计算,得出属性权重矩阵weight；

weight＝[w_c1 … w_ci … w_cm]；

其中,w_ci为数据矩阵X中第i列数据的属性权重值；

Step3，计算加权欧式点对距离：将weight代入高维空间点对欧式距离计算公式中，得出每个点对之间的属性加权欧式点对距离矩阵D；

其中，d_ij为数据矩阵X中第i行数据与第j行数据在高维空间中的加权欧式距离，高维空间指维度＞3的空间；x_ik为数据矩阵X中第i行第k列的数据，x_jk为数据矩阵X中第j行第k列的数据；