[发明专利]一种基于交叉重建的多视角分类系统及方法

说明书

本发明公开了一种基于交叉重建的多视角分类系统及方法，包括接收模块、编码模块、重构模块、约束模块、计算模块和确定模块；本发明提出类自编码机结构，在多个视角之间进行自我重建和交叉重建，创新性的提出一种基于交叉重建的多视角识别方法用于同时考虑每个视角的本质特征和多个视角之间的关联特征，使得得到的多视角数据特征更为丰富，降低了方法的复杂度同时提高了多视角分类的准确率。

技术领域

本发明涉及深度学习和机器学习在多视角数据分类领域的应用，具体涉及一种基于交叉重建的多视角分类系统及方法。

背景技术

多视角分类是计算机视觉和图像分类中的一个重要研究方向，目前该技术仍然面临许多挑战。其中就包括不同视角数据由于存在各种各样的差异，对这些数据利用同一分类器进行分类时出现准确率明显下降的问题。

目前，多视角分类的方法出现了很多，总体上分为三类，一是协同训练的方法，利用多个视角数据之间的互补性进行相互学习，使得不同视角数据之间的不一致性最小从而进行多视角数据的分类；二是利用核函数，对不同的视角数据添加不同的核函数，然后对核函数进行融合来挖掘出视角之间的关联，从而得到融合后的视角特征信息以此来进行分类。但是为每个视角寻找到一个合适的核函数是比较困难的。三是子空间学习的方法，将所有的视角数据投影到一个公共的子空间，这消除了不同视角之间的差异，在这个子空间各个视角的表达更为紧凑，因而可以形成数据的一致性表达来进行跨视角分类。子空间学习方法主要包括基于典型相关分析(Canonical Correlation Analysis,CCA)和基于自编码机的方法。CCA方法对每个视角数据进行线性投影，后使投影后得到的表达最大相关。但该方法只针对两个视角并且只进行线性投影。基于自编码机的方法，利用自编码机来确保每个视角信息的完整性，后再对得到的编码进行最大相关的约束得到一致性编码。

专利申请号为CN201910712287.3的专利提出基于字典对同时考虑了视角特征间的互补信息和视角特征内的判别信息来提高多视角识别的准确率，但其忽视了本身视角的特有信息。专利申请号为CN201710644457.X的专利提出基于正则化图的多视角识别方法，利用多视角特征信息和单一视角特征类间的局部判别信息进行多视角识别，它忽视了多视角之间的相互联系。

虽然目前国内外在多视角分类领域取得了很多不错的工作，但仍然存在许多具有挑战的问题，提出一种同时考虑每个视角信息和多视角之间的内在关联信息，并保证得到多个视角的一致性编码的方法仍然存在许多问题。

发明内容

本发明所要解决的技术问题是现有技术的不同视角数据由于存在各种各样的差异，对这些数据利用同一分类器进行分类时出现准确率明显下降的问题，目的在于提供一种基于交叉重建的多视角分类系统及方法，使得得到的多视角数据特征更为丰富，降低了方法的复杂度同时提高了多视角分类的准确率。

本发明通过下述技术方案实现：

一种基于交叉重建的多视角分类方法，包括以下步骤：

步骤S1：构建两个自编码机网络，接收两个视角的原始图像数据，并将所述两个视角的原始图像数据分别转换为矩阵形式；

步骤S2:利用所述原始图像数据的矩阵形式和所述自编码机网络，分别得到两个视角数据图像的编码；

步骤S3：利用所述编码进行自我重建以及交叉重建，得到自我重建样本和跨视角重建样本；

步骤S4：对所述原始图像数据、所述自我重建样本和所述跨视角重建样本进行重建误差约束，得到第一误差结果；

步骤S5：对所述两个视角数据图像的编码进行编码一致性约束，得到第二误差结果；

步骤S6：结合所述第一误差结果和所述第二误差结果，多次训练两个自编码机网络，得到最佳表达结果；

步骤S7：利用1-NN分类器对所述最佳表达结果进行分类，得到最佳表达结果的所属类别。