[发明专利]一种基于场景、动作和文本的视频问答方法

权利要求书

1.一种基于场景、动作和文本的视频问答方法，其特征在于：其方法如下所述：

步骤一、从互联网下载视频，并对每个视频提出问题，同时针对问题给出答案，形成<视频，问答对>，构成视频问答训练集；

步骤二、利用视频截取工具截取视频帧，并对视频帧进行采样，每一帧都是一张静态图像；

步骤三、构造场景模型，逐帧处理视频帧，得到视频帧的场景特征向量，并将其作为长短期记忆网络的输入得到视频的场景特征表示；

步骤四、提取视频的光流图，并采样出与步骤二中的视频帧对应的光流图，构造动作模型，逐帧处理视频帧以及与其对应的光流图，得到视频帧的动作特征向量，并将其输入到长短期记忆网络中得到视频的动作特征表示；

步骤五、将视频的场景特征表示和动作特征表示作为文本模型的初始化，文本模型采用长短期记忆网络进行设计，采用端到端的方式进行训练，得到场景-动作-文本模型的参数；

步骤六、输入待回答问题的视频帧的场景特征向量和动作特征向量，以及待回答问题的文本特征，通过场景-动作-文本模型预测出合适的答案。

2.根据权利要求1所述的一种基于场景、动作和文本的视频问答方法，其特征在于：所述的步骤一中从互联网下载视频，并对每个视频提出问题，同时针对问题给出答案，形成<视频，问答对>，构成视频问答训练集的步骤如下：

（1）从互联网下载常用的视频问答数据集：TACoS数据集，在该数据集中有许多小视频，构成视频集合，其中，表示第个小视频，表示视频总数；

（2）每个小视频都会有多个对应的问答对，视频对应的问答对为，其中，表示视频对应的问答对的个数；

（3）通过现有的视频集合以及每个视频对应的问答对组成<视频，问答对>，构成视频问答训练集。

3.根据权利要求1所述的一种基于场景、动作和文本的视频问答方法，其特征在于：所述的步骤二中利用视频截取工具截取视频帧，并对视频帧进行采样，每一帧都是一张静态图像的步骤为：利用视频截取工具截取视频帧，并对每个视频的视频帧等间隔采样帧。

4.根据权利要求1所述的一种基于场景、动作和文本的视频问答方法，其特征在于：所述的步骤三中构造场景模型，逐帧处理视频帧，得到视频帧的场景特征向量，并将其作为长短期记忆网络的输入得到视频的场景特征表示的步骤如下：

（1）对每个视频等间隔采样的帧逐帧进行处理；

（2）构造场景模型：

其中，对于视频帧，尺寸调整为，用提取最后一层卷积层的特征，得到的特征图，其中表示通道的个数，表示在每个通道上的空间大小；然后在每个通道上采取策略，得到一个维度为的特征向量，公式为：

(1)

(2)

（3）由步骤（2）知，对于每一视频帧，得到一个维度为的特征向量，然后对长短期记忆网络进行建模，该网络共有个节点，将这些特征向量按照顺序依次输入到长短期记忆网络的节点中，是输入门，是遗忘门，是输出门，是记忆单元，是隐藏单元，各个状态的更新和输出可表示为：

(3)

(4)

(5)

(6)

(7)

(8)

其中，表示函数，表示双曲正切函数，表示元素之间的乘积，是需要训练的参数，是偏置向量；

（4）由步骤（3）知，在第个节点，得到该长短期记忆网络的最后一个隐藏单元状态和最后一个记忆单元状态，然后将隐藏单元状态和记忆单元状态拼接起来的向量作为该视频的场景特征表示。