[发明专利]一种基于语法分析树上注意力机制的深度学习视频问答方法及系统

摘要

本发明公开了一种基于语法分析树上注意力机制的深度学习视频问答方法及系统，包括以下步骤：(1)对输入的视频序列进行采样，得到一系列视频帧，然后用预训练的卷积神经网络抽取并保存每帧视频的特征；(2)对输入的自然语言问句，利用语法树分析工具建立语法树；(3)根据语法树的结构，确定深度神经网络的结构；(4)对深度神经网络进行自底向上的计算得到最终的输出结果；(5)将建立的深度神经网络在数据集上进行训练；(6)利用训练好的模型，按步骤1至4输入数据得到输出结果，在答案库中选择问题的答案作为输出。利用本发明可以大大提高视频问答结果的准确率，尤其可以提升在复杂及较长问句上的结果。

主权项

1.一种基于语法分析树上注意力机制的深度学习视频问答方法，其特征在于，包括以下步骤：步骤1，对输入的视频序列进行采样，得到一系列视频帧，然后利用预训练的卷积神经网络抽取每帧视频的特征，并将特征保存；步骤2，对输入的自然语言问句，利用语法树分析工具建立对应的语法树；步骤3，根据语法树的结构，确定深度神经网络的结构；步骤4，对深度神经网络进行自底向上的计算得到最终的输出结果；步骤5，将建立的深度神经网络在数据集上进行训练；步骤6，利用训练好的模型，按步骤1至4输入数据得到输出结果，依据输出结果在候选答案库中选择问题的答案作为输出。