[发明专利]一种基于卷积神经网络的无监督多模态子空间聚类方法

说明书

本发明中提出的一种基于卷积神经网络的无监督多模态子空间聚类方法，其主要内容包括：多模态编码器、自表达层和多模态译码器，其过程为，对于输入的多模态数据，先用编码器实现空间融合，通过空间融合网络将其融合到潜在的空间表示中，然后将融合的结果输入自表达层，利用自表达性在潜在空间对联合表示进行编码，最后，由自表达层的输出所产生的联合表示输入到多模态解码器中，对不同的模态进行重构，得到最后的聚类结果。本发明解决了以往的子空间聚类方法依赖于模态之间的空间对应关系且会增加数据维度的问题，能够利用模态的自表达性获得联合表示，并提高子空间聚类的准确度。

技术领域

本发明涉及计算机视觉领域，尤其是涉及了一种基于卷积神经网络的无监督多模态子空间聚类方法。

背景技术

在图像处理、图像识别和语音处理方面的任何实际应用都需要处理非常高维的数据，然而，这些数据通常位于低维的子空间，而子空间聚类方法通过在一个数据集内的不同子空间中找到集群，就可以对高维数据进行处理。子空间聚类方法可以应用于图像处理方面，可以有效提高数据处理的效率；在图像识别方面，子空间聚类方法可以对同一物体不同形式的图像进行处理，提高识别精度；同样在语音处理上，应用子空间聚类方法可以更有效地处理人类各种语气的语句。然而，以往的子空间聚类方法依赖于模态之间的空间对应关系，且输出时会增加数据维度。

本发明中提出了一种基于卷积神经网络的无监督多模态子空间聚类方法，对于输入的多模态数据，先用编码器实现空间融合，通过空间融合网络将其融合到潜在的空间表示中，然后将融合的结果输入自表达层，利用自表达性在潜在空间对联合表示进行编码，最后，由自表达层的输出所产生的联合表示输入到多模态解码器中，对不同的模态进行重构，得到最后的聚类结果。本发明能够利用模态的自表达性获得联合表示，并提高子空间聚类的准确度。

发明内容

针对以往的子空间聚类方法依赖于模态之间的空间对应关系，且输出时会增加数据维度的问题，本发明的目的在于提供一种基于卷积神经网络的无监督多模态子空间聚类方法，对于输入的多模态数据，先用编码器实现空间融合，通过空间融合网络将其融合到潜在的空间表示中，然后将融合的结果输入自表达层，利用自表达性在潜在空间对联合表示进行编码，最后，由自表达层的输出所产生的联合表示输入到多模态解码器中，对不同的模态进行重构，得到最后的聚类结果。

为解决上述问题，本发明提供一种基于卷积神经网络的无监督多模态子空间聚类方法，其主要内容包括：

(一)多模态编码器；

(二)自表达层；

(三)多模态译码器。

其中，所述的多模态编码器，是指将多模态数据作为输入，通过空间融合网络将其融合到潜在的空间表示中。

进一步地，所述的空间融合网络，使用了三种不同的融合技术，能够提供不同空间位置的模态表示，并学习一种包含不同模态的互补信息的联合表示，且联合表示中每一种模式都有对应的空间；空间融合网络的一个重要组成部分是融合函数，融合函数从多个输入表示中合并信息，输出一个融合结果；最后，为所提议的网络制定一个端到端的训练目标。

进一步地，所述的融合技术，是指在深度网络的情况下，由于融合网络选择的灵活性，多模态子空间聚类的空间融合技术可以分为早期、中期和后期三种；早期融合指把多模态数据输入网络之前先在特性级阶段综合多模态数据，后期融合则涉及到网络最后阶段的多模态数据的综合，而中期融合指在较早阶段将较弱或相关的模式聚集在一起，并在深层阶段将剩余的强模式结合在一起，在中期融合中，网络中间层中的特征映射被组合在一起，以实现更好的联合表示。