[发明专利]基于多关系图模型的多模态对话问答生成方法

权利要求书

1.一种基于多关系图模型的多模态对话问答生成方法，其特征在于，包括以下步骤：

S1、使用固定大小的滑动窗口将视频序列化切分为多个视频片段，对于每个片段，获取该片段的色彩特征和光流特征以及音频特征

将色彩特征光流特征和音频特征拼接起来得到再加入位置信息和模态信息得到各个视频片段的序列表示V_t；表达式为：

其中，位置信息中使用数字指代每个视频片段出现的次序，模态信息中使用标识符[video]统一标识视频特征，在实际计算时将其转换成固定维度的向量；

S2、针对视听场景表示V＝(V₁,V₂,...,V_m)，V₁,V₂,...,V_m即为各个视频片段的序列表示，将每个视频片段视作顶点，构建基于全联通关系的视频图其中是有向依赖边的集合，对于每条有向依赖边(V_i,V_j,l_ij)，l_ij表示从V_i到V_j的依赖关系，且设置为1；

将视频图输入图卷积神经网络，输出视频隐藏层序列G^V；

S3、将视频隐藏层序列G^V和原视频序列表示V输入线性层得到视频的融合表示并作为后续基于GPT-2架构的多层TRANSFORMER模型的部分输入；

S4、基于视听场景标题C和对话历史H得到对应的词向量表示C^feature和H^feature；将标题词向量C^feature和对话历史词向量H^feature拼接起来，再加入位置信息T^pos和模态信息T^mod得到文本序列表示T；表达式为：

T^feature＝[C^feature,H^feature],

T＝T^feature+T^mod+T^pos,

其中，位置信息T^pos中使用数字指代标题和每个问答对中单词出现的次序，T^pos中使用标识符[cap]统一标识视听场景标题，标识符[usr1]标识提问者，标识符[usr2]标识回答者，在实际计算时分别将其转换成固定维度的向量；

S5、将S4得到的文本序列表示T中的每个词向量视作顶点，构建基于句子级依存关系的图结构和/或基于完整对话共指关系的图结构

然后将句子级依存关系的图结构和/或基于完整对话共指关系的图结构分别输入图卷积神经网络，得到各自对应的文本隐藏层序列；

S6、将句子级依存关系的图结构和/或基于完整对话共指关系的图结构对应的文本隐藏层序列和原文本序列表示T输入线性层得到文本的融合表示并作为后续基于GPT-2架构的多层TRANSFORMER模型的部分输入；

S7、将和拼接获得增强多模态输入，并将增强多模态输入基于GPT-2架构的多层Transformer模型生成回答。

2.根据权利要求1所述的一种基于多关系图模型的多模态对话问答生成方法，其特征在于，S5中将S4得到的文本序列表示T中的每个词向量视作顶点构建基于句子级依存关系的图结构并得到对应的文本隐藏层序列的过程包括以下步骤：

首先使用GPT2 Tokenizer获得每个单词对应的词向量表示，使用Stanford CoreNLP文本解析工具分析该句子的句法依存关系，将每个词向量视作顶点，并依据句法依存关系建模图结构；然后输入图卷积神经网络，输出文本隐藏层序列G^D。