[发明专利]一种基于多模态融合的视频常识性知识推理实现方法

摘要

本发明公开了一种基于多模态融合的视频常识性知识推理实现方法，其步骤包括：1)对输入视频分别提取帧内空间特征Vi、帧间时序特征Vt以及声音特征Vs；2)将帧内空间特征Vi、帧间时序特征Vt以及声音特征Vs进行融合，得到该输入视频的多模态的视频特征VE；3)对该输入视频的描述性文本进行特征抽取，得到语言特征Ccap，并将视频特征VE和语言特征Ccap进行融合，得到上下文特征[VE，Ccap]；4)将所述上下文特征[VE，Ccap]输入常识推理解码器得到答案的概率分布，然后根据所得答案的概率分布预测该输入视频的常识性知识文本序列。本发明所得结果拥有更高的预测精度和可解释性。