[发明专利]基于归一化互信息的多模态融合方法、装置、介质及设备

说明书

本发明提供了一种基于归一化互信息的多模态融合方法、装置、介质及设备；其中方法包括如下步骤：获取采集人体的多种模态数据集，各种模态数据集中的数据分别带有标签；对各种模态数据集进行预处理；将预处理后的各种模态数据集分别进行特征提取；通过宽度学习系统得到各个模态数据集的宽度学习特征映射；确定归一化互信息的多模态融合方式；将宽度学习系统进行训练和测试；根据训练和测试好的多模态融合方式和判别架构模型来进行模态特征融合和最终的判决输出。本发明训练速度快，资源消耗少，能快速构建增量学习模型；可实现模态间的信息互补减少冗余模态信息；具有良好的可靠性、准确性和鲁棒性。

技术领域

本发明涉及数据处理技术领域，更具体地说，涉及一种基于归一化互信息的多模态融合方法、装置、介质及设备。

背景技术

多模态融合是综合利用两个或多个模态的信息(如文字语句模态、面部视觉表情、声音模态和生理数据模态)以进行目标预测的过程(分类或者回归)，它还存在其他常见的别名，例如多源信息融合、多传感器融合。按照融合的层次，可以将多模态融合分为数据层，特征层和决策层三类，即是分别对应对原始数据进行融合、对抽象的特征进行融合和对决策结果进行融合。而特征层融合又可发生在特征抽取的早期和晚期，当然还有将多种融合层次混合方法。多模态融合通过互补，消除歧义和不确定性，得到更加准确的决策判断结果。实现信息补充，拓宽输入数据所包含信息的覆盖范围，提升预测结果的精度，提高预测模型的鲁棒性。跨模态人体生理数据和行为数据，例如面部表情及动作和脑电心电信号等的开发和利用有着很强的社会经济价值和研究价值。

现有的多模态融合方法大多基于深度神经网络来实现模态融合。常用的方式有对各模态表示进行相同位置元素的相乘或相加、构建编码器-解码器结构和用长短期记忆模型(Long short-term memory,LSTM)神经网络进行信息整合。如情绪识别任务有使用双峰自编码神经网络对提取的脑电图和眼睛信号进行特征集成和重构产生情绪分类识别结果；如在图像问答任务中采用卷积神经网络和LSTM神经网络进行学习；在视频描述任务中卷积神经网络上叠加LSTM神经网络，实现了对视频中的时间和空间信息的融合；使用LSTM神经网络融合由卷积神经网络获取的与视频相关的单词信息，生成视频描述语句等等。

多模态融合研究的难点主要包括如何判断每个模态的置信水平、如何判断模态间的相关性、如何对多模态的特征信息进行降维以及如何对非同步采集的多模态数据进行配准等。

现有的多模态融合方法大多基于深度神经网络来实现模态融合。在单一模态下特定任务中的特征学习问题，深度学习以其强大的特征提取能力和分析能力，已经展现出了良好的准确率和泛化性能。然而，目前的深度学习算法在面对不同模态的数据类型时候所反映出来的难训练、难推理的问题无法得到很好的解决。整体而言深度神经网络对于跨模态综合数据任然不具有很完善的处理方法。

发明内容

为克服现有技术中的缺点与不足，本发明的目的在于提供一种基于归一化互信息的多模态融合方法、装置、介质及设备；本发明利用宽度学习的特征映射方法进行特征的进一步学习，具有训练速度快、资源消耗少、能快速构建增量学习模型等优点；直接通过归一化互信息来获取各个模态和输出判别架构的相关性信息来实现特征层的融合，实现模态间的信息互补减少冗余模态信息且不需要的多余的学习参数；简单高效，能够在可靠性和准确性上获得更好的性能，同时具备更良好的鲁棒性。

为了达到上述目的，本发明通过下述技术方案予以实现：一种基于归一化互信息的多模态融合方法，其特征在于：包括如下步骤：

S1步、获取采集人体的多种模态数据集，各种模态数据集中的数据分别带有标签；对于各种模态数据集，数据总数量相同，数据的标签归类划分相同，数据模态不相同；

S2步、对各种模态数据集进行预处理；将预处理后的各种模态数据集分别进行特征提取，以获取有利于决策标签的相应特征数据；