[发明专利]一种基于场景、动作和文本的视频问答方法

摘要

本发明公开了一种基于场景、动作和文本的视频问答方法，其方法为：步骤一、构成视频问答训练集；步骤二、利用视频截取工具截取视频帧；步骤三、构造场景模型；步骤四、得到视频的动作特征表示；步骤五、得到场景‑动作‑文本模型的参数；步骤六、通过场景‑动作‑文本模型预测出合适的答案。有益效果：将得到的视觉信息作为文本模型的初始化，这就如同看完视频后回答问题。在文本模型中，视觉信息的初始化能够更好的解析出视频的语义信息，从而对视频问题给出合适的答案。因此，该方法取得了良好的效果。

主权项

1.一种基于场景、动作和文本的视频问答方法，其特征在于：其方法如下所述：步骤一、从互联网下载视频，并对每个视频提出问题，同时针对问题给出答案，形成<视频，问答对>，构成视频问答训练集；步骤二、利用视频截取工具截取视频帧，并对视频帧进行采样，每一帧都是一张静态图像；步骤三、构造场景模型，逐帧处理视频帧，得到视频帧的场景特征向量，并将其作为长短期记忆网络的输入得到视频的场景特征表示；步骤四、提取视频的光流图，并采样出与步骤二中的视频帧对应的光流图，构造动作模型，逐帧处理视频帧以及与其对应的光流图，得到视频帧的动作特征向量，并将其输入到长短期记忆网络中得到视频的动作特征表示；步骤五、将视频的场景特征表示和动作特征表示作为文本模型的初始化，文本模型采用长短期记忆网络进行设计，采用端到端的方式进行训练，得到场景‑动作‑文本模型的参数；步骤六、输入待回答问题的视频帧的场景特征向量和动作特征向量，以及待回答问题的文本特征，通过场景‑动作‑文本模型预测出合适的答案。