[发明专利]基于变分自编码器和密度峰值的混合属性数据聚类方法在审
申请号: | 201810431968.8 | 申请日: | 2018-05-08 |
公开(公告)号: | CN108776806A | 公开(公告)日: | 2018-11-09 |
发明(设计)人: | 段宝彬;韩立新;勾智楠 | 申请(专利权)人: | 河海大学 |
主分类号: | G06K9/62 | 分类号: | G06K9/62 |
代理公司: | 南京经纬专利商标代理有限公司 32200 | 代理人: | 朱桢荣 |
地址: | 211100 江苏*** | 国省代码: | 江苏;32 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 混合属性 聚类 编码器 数据聚类 分布数据 峰值算法 预处理 提取预处理 冗余特征 中心选择 传统的 非球形 归一化 潜在的 降维 改进 | ||
1.一种基于变分自编码器和密度峰值的混合属性数据聚类方法,其特征在于,包括以下步骤:
步骤1、读取原始混合属性数据集;
步骤2、采用one-hot编码技术对原始混合属性数据集中每一个原始混合属性样本的分类型属性值进行编码,对原始混合属性数据集中每一个原始混合属性样本的数值型属性值进行归一化,构造标准化数据矩阵;
步骤3、采用t-SNE算法对标准化数据矩阵进行降维处理,得到低维数据矩阵;
步骤4、构建并训练变分自编码器,得到每个低维样本的潜在特征,构造联合特征矩阵;
步骤5、基于联合特征矩阵,利用改进的密度峰值聚类算法进行聚类,从而得到联合特征矩阵对应的所有联合特征样本的聚类结果,该聚类结果也是与联合特征样本对应的原始混合属性样本的聚类结果;
所述步骤5中利用改进的密度峰值聚类算法进行聚类包括以下步骤:
(5-1)给定预聚类的类别数,利用模糊C-均值聚类算法对联合特征矩阵对应的联合特征样本进行预聚类,得到每个联合特征样本隶属于每个簇的隶属度,按最大隶属度原则,确定每个联合特征样本的簇标号,计算每个联合特征样本到各个簇中心的距离,以及每个簇的半径;
(5-2)根据每个簇的簇中心、簇半径及给定的截断距离,确定每个簇的近邻簇、过渡簇、外围簇,其中,若两个不同簇内的任意两个联合特征样本之间的距离均小于截断距离,则两个簇互为近邻簇;若两个不同簇内的任意两个联合特征样本之间的距离均大于截断距离,则两个簇互为外围簇;既不是近邻簇也不是外围簇的为过渡簇;
(5-3)确定每一个联合特征样本的近邻样本,统计近邻样本的总数即得该联合特征样本的局部密度,然后将联合特征样本按局部密度从大到小排序;
(5-4)计算每个联合特征样本到不低于其局部密度的所有联合特征样本之间的距离,取其最小值作为该联合特征样本的相对距离,其中按局部密度从大到小排序在第一位的联合特征样本的相对距离取其余联合特征样本相对距离的最大值;
(5-5)计算每个联合特征样本的局部密度与相对距离的乘积,作为该联合特征样本的综合度量值,将每个联合特征样本按综合度量值从大到小排序;
(5-6)根据给定的聚类数k,选取综合度量值最大的前k个联合特征样本作为簇中心,其余联合特征样本按离其最近的簇中心确定簇号,最近的簇中心对应的簇号作为该联合特征样本的簇号,从而得到所有联合特征样本的聚类结果,该聚类结果也是与联合特征样本对应的原始混合属性样本的聚类结果。
2.根据权利要求1所述的一种基于变分自编码器和密度峰值的混合属性数据聚类方法,其特征在于,所述步骤2中构造标准化数据矩阵,具体如下:
(2-1)对原始混合属性数据集中每个原始混合属性样本的分类型属性值进行one-hot编码,编码后将每个分类型属性值转换成一个行向量;
(2-2)将原始混合属性数据集中每个原始混合属性样本的数值型属性值归一化,并将其和该原始混合属性样本的各分类型属性值编码后的向量串联起来,转置后构成该原始混合属性样本的标准化向量;
(2-3)依次将每一个原始混合属性样本的标准化向量作为矩阵的一列,得到的矩阵即为标准化数据矩阵。
3.根据权利要求1所述的一种基于变分自编码器和密度峰值的混合属性数据聚类方法,其特征在于,所述步骤3的降维处理具体如下:
(3-1)根据标准化数据矩阵,用高斯分布构建高维空间高维样本之间的联合概率分布P,用来表示它们在高维空间的相似度;
(3-2)用t分布构建低维空间对应低维样本之间的联合概率分布Q,用来表示它们在低维空间的相似度;
(3-3)使用梯度下降法优化P和Q的相对熵,使其达到最小,得到最优困惑度值,从而利用该最优困惑度值计算出每个高维样本的低维表示,进而构造出低维数据矩阵。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于河海大学,未经河海大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810431968.8/1.html,转载请声明来源钻瓜专利网。