[发明专利]一种用于多视图分类的再分配方法

说明书

本发明公开了一种用于多视图分类的再分配方法，包括定义一个整合网络、一个合并空间网络、多个注意力网络，随机初始化网络的参数；整合网络从多个视图中集成特征，获得统一表示；将统一表示输入到多个注意力网络中，输出多个权重向量作为多组注意力掩码；再将统一表示和注意力掩码逐元素相乘以选择有用的特征，形成第m个视图z_m；定义预设规则对z_m进行更新，获得公共空间中第m个伪视图；将不同学习器学到的多个伪视图的隐表示进行拼接，得到完备的表示构建损失函数，根据损失函数更新整合网络、合并空间网络、注意力网络的参数；若损失函数已收敛训练结束。本发明在统一框架中探索多个视图间一致性和多样性，使分类性能得到显著提升。

技术领域

本发明涉及多视图分类领域，尤其涉及一种用于多视图分类的再分配方法。

背景技术

在实际应用中，数据可以从不同角度描述(多视图)，例如，在视频中通常包括语音信号、文本信息和图像信息；一则新闻通常包括文本信息和图像信息；即使是单一模态的数据，也可以提取不同类型的描述来表征不同的属性。研究如何更好的融合多个视图的信息在现实生活中有重要的意义，医学数据中，疾病的诊断通常需要结合多种医疗检测手段的结果；在自动驾驶领域，汽车对外部环境的感知需要融合多种传感器的结果。因此，多视图学习受到了广泛关注，如何有效地整合多种视图已经成为研究热点。

在监督学习方面，最具代表性的方法是多视图度量学习，该方法旨在为每个视图学习指定的度量函数，探讨了度量学习框架下多视图之间的互补性或一致性。例如，LargeMargin Multi-Metric Learning(LM3L)联合地学习多个度量通过最大化不同视图之间的一致性。受深度学习的鼓励，The Sharable and Individual Multi-view Deep MetricLearning(MvDML)利用神经网络为多个视图学习多个距离度量函数通过最大化视图之间的互补性同时为所有视图学习一个共同的度量，保留多个视图之间的共有信息。

对于无监督学习，多视图表示学习通常通过最大化不同视图之间的相关性或一致性，为数据学习一个完备的表示。其中最有代表性的方法是基于规范相关分析(CCA)的方法，包括原始CCA、内核化CCA(即KCCA)以及深层CCA(即DCCA)。这些方法将不同的视图映射到公共的低维空间，然后最大化各个视图学到的表示之间的相关性。与基于CCA的方法不同，多样性诱导的多视图子空间聚类(DiMSC)通过利用Hilbert Schmidt独立准则(HSIC)作为多样性约束来探索多视图特征之间的互补性来提升多视图聚类。

集成学习是一项简单而强大的技术。早期的方法通常利用多个训练样本的随机子集构建多个学习器，或者利用不同初始化构建多个学习器，然后平均多个学习器的预测结果。集成学习成功的关键因素是“好而不同”，即在确保类别分离性的同时要确保不同学习者之间足够的多样性，因此，近些年来，更多的研究关注于增强多样性。Attention-basedensemble for deep metric learning(基于注意力的深度度量学习集成)通过使用不同注意力模块来关注图像的不同位置，从而增强多样性。现在存在的集成学习下的多视图研究方法，类似于“盲人摸象”的行为。每个视图根据自己的单独的信息做出预测，最终通过组合(例如：投票法)多个预测结果得到最终分类结果。

尽管现有方法已经在多视图学习中取得了巨大的成功，但仍然存在一些主要限制。首先，大多数现有的多视图方法都假设数据的不同的视图高度相关，通过最大化视图之间的相关性从而保持一致性，但是在多个视图之间，通常都存在一致且互补的信息，仅在一侧过分强调可能会使性能不令人满意。其次，大多数现有模型通常在每个视图中构造模型，然后将其约束为多个视图之间的一致性或互补性，这无法完全探索不同视图之间的交互。

发明内容

本发明提供了一种用于多视图分类的再分配方法，本发明利用注意力网络对多视图数据进行分类，能够在统一框架中共同探索多个视图间一致性和多样性，打破了不同视图之间的界限，使分类性能得到显著提升，详见下文描述：