[发明专利]基于多模态信息融合的异构数据特征提取方法

说明书

本发明公开了一种基于多模态信息融合的异构数据特征提取方法，其实现步骤为：通过使用文本编码器和图像编码器组成双流架构，对不同模态的数据特征提取分别构建不同的编码器，在对异构数据特征进行融合的时候充分考虑到不同模态数据之间的局部对应关系，使用注意力机制对异构数据进行融合。由此解决现有技术编码器模型参数混乱、训练过程复杂，以及异构数据特征信息融合不完全的问题。使得本发明能更好地处理异构数据，提高了异构数据特征提取的准确度。同时也提高了信息融合的完整度，确保提取出来的异构信息特征融合的有效性。

技术领域

本发明属于物理技术领域，更进一步涉及数据处理技术领域中的一种基于多模态信息融合的异构数据特征提取方法。本发明通过综合考虑模型输入数据中文本、图像等异构数据对数据向量化表征带来的影响，通过多模态技术的方式充分提取异构数据特征，并通过使用注意力机制生成具有丰富语义信息的数据表征向量。

背景技术

随着近几年深度学习相关领域技术的快速发展，各种深度学习模型对于图像、文本等形式的输入数据进行特征提取方法能够很好地排除冗余特征，并准确地提取出目标特征。但是很多输入数据是以异构的形式存在，如果使用单模态的方法对异构数据进行提取会造成信息损失，从而导致异构数据表征向量包含的语义信息和原有的数据包含的语义信息有偏差。

分别为文本、图像数据构建对应的数据编码器，在文本编码器上将通过文本上下文预测当前词作为预训练任务进行预训练操作。图像编码器为每个图像编码向量构建解码器，使用编码器-解码器方法进行预训练。通过不同模态的编码器分别获取到异构数据的编码向量之后使用基于注意力机制的多模态交叉融合的方式对异构数据进行特征融合，进而获取到包含异构信息的数据表征向量。

Yang F等人在其发表的论文“Exploring deep multimodal fusion of text andphoto for hate speech classification”(《Proceedings of the third workshop onabusive language online》，11-18，2019)中公开了一种基于模态融合方法的社交网络言论分类方法。首先，从社交网络上获取用户发表的言论，言论包括文本以及图像，然后使用MLP对文本进行编码生成文本向量，用resNet对图像进行特征提取，最后，对文本向量以及图像矩阵做concatenate操作，得到言论数据的多模态向量表征。但是，该方法仍然存在不足之处是，在对异构数据的表征向量进行融合时，直接做concatenate操作，无法在异构数据之间建立联系，未考虑到异构数据之间的局部对应关系。

张兰兰等人在其发表的专利“基于多模态数据融合的文本处理系统及其方法”(专利申请号：202211133670.1，公开号：CN115203380A)中公开了一种多模态数据融合方法。该方法首先，通过检索请求接收模块获取到检索信息，然后使用卷积神经网络将检索信息中包含的文本内容编码成对应的语义特征向量，之后同样使用文本编码中使用的卷积神经网络编码模块对检索信息中包含的图像内容进行编码，得到对应的图像编码数据，最后计算多模态表达矩阵作为多模态数据融合的结果作用于下游任务。但是，该方法仍然存在的不足是，对于不同模态的数据使用同一个数据编码模块，会导致预先训练完毕的模型权重需要强行去适配另一种模型特征，导致模型参数混乱。

发明内容

第一，本发明的目的是针对上述现有技术存在的不足，提出一种基于多模态信息融合的异构数据特征提取方法。用于解决多模态技术中单流架构使用一个编码器同时对不同模态数据进行特征提取造成编码器模型参数混乱、训练过程复杂，以及在异构数据融合中直接使用concatenate全局融合方式导致异构数据特征信息融合不完全的问题。