[发明专利]一种面向事件关系编码的视频中多事件自然语言描述方法

权利要求书

1.一种面向事件关系编码的视频中多事件自然语言描述方法 ，包括以下步骤：

S1、采用一三维卷积神经网络，对给定的视频序列提取深度特征，得到若干个深度特征向量，构成一深度特征序列；

S2、基于所述深度特征序列，采用循环神经网络作为时序分析方法计算所述视频序列中事件的提议起止区间；

S3、选定所述视频序列中需要进行描述的待描述事件，并根据所述事件的提议起止区间，对所述待描述事件在所述深度特征序列中对应的子序列进行再编码，得到所述待描述事件的描述子；

S4、采用基于注意力模型的LSTM自适应解码器对所述描述子进行解码，得到用于描述所述待描述事件的自然语言。

2.如权利要求1所述的自然语言描述方法 ，其特征在于，步骤S1具体包括：

S11、对所述视频序列，取固定长度的连续的帧为一簇，以固定间隔对每一个簇采样，得到簇序列；

S12、对所述簇序列中的每一个簇，采用三维卷积神经网络提取簇的深度特征向量，得到所述视频序列的所述深度特征序列，记为其中，v₁,v₂,…,v_n为每一个簇对应的深度特征向量。

3.如权利要求2所述的自然语言描述方法 ，其特征在于，步骤S2具体包括：

S21、采用LSTM对所述深度特征序列进行序列到序列的编码，得到长度与所述深度特征序列相同的隐向量序列

S22、对所述隐向量序列中的每一个隐向量，使用两个全连接层分别监测不同事件对应的时间戳和置信度，得到所述事件的提议起止区间。

4.如权利要求3所述的自然语言描述方法 ，其特征在于，步骤S3具体包括：

S31、通过人工指定不同事件的时间戳，或者根据步骤S22中的所述置信度，取置信度大于一设定阈值的时间戳，来选定所述待描述事件；

S32、根据所述视频序列的总长度和待描述事件i的提议起止区间，得到待描述事件i在所述深度特征序列中对应的子序列；

S33、对待描述事件i所对应的子序列，采用m种步长的LSTM再次进行序列到序列的编码，得到m组隐向量和m个状态向量；

S34、将待描述事件i的m组隐向量池化至相同尺寸并沿隐向量的序列方向拼接为一组新的隐向量同时将m个状态向量取平均得到从而，得到待描述事件i的事件内描述子

S35、根据待描述事件i的事件内描述子的将所有待描述事件按照在所述视频序列中的时间先后来排序，然后，对待描述事件i之前的事件和之后的事件分别使用不同的LSTM前向和后向地计算事件的上文和下文，并将两个LSTM的前向和后向计算结果合并作为待描述事件i的事件间描述子g_i，从而得到待描述事件i的描述子：

和分别表示所述两个LSTM的状态向量，分别作为待描述事件i的上文和下文的描述子。