[发明专利]一种基于编码解码网络的交通场景描述方法及系统

权利要求书

1.一种基于编码解码网络的交通场景描述方法，其特征在于：包括以下步骤：

获取交通场景的视频帧图像数据；

对获取的视频帧图像数据进行场景分割，得到去除交通背景后的图像数据；

将得到的图像数据输入到预设模型中，得到用于交通场景描述的视频字幕；

其中，预设模型以编码解码器为框架，训练时：分别将解码后的结果与掩盖了当前和过去时间步长的GroundTruth输入到两个长短期记忆网络中，将输出结果与注意力机制得到的特征进行线性变换，输入到与解码器相同的长短期记忆网络得到引导的描述；

采用Mask RCNN网络去除交通背景，检测分割后的交通参与者。

2.如权利要求1所述的基于编码解码网络的交通场景描述方法，其特征在于：

采用深度网络InceptionV4提取视频图像数据的高层语义特征，向InceptionV4提供帧来获得表示视频的特征，取固定数量的帧训练编码解码器。

3.如权利要求1所述的基于编码解码网络的交通场景描述方法，其特征在于：

解码器采用长短期记忆网络，通过将编码器的视频特征输入解码器来生成视频字幕。

4.如权利要求1所述的基于编码解码网络的交通场景描述方法，其特征在于：

在编码器和解码器之间设置注意力机制，在每个时间步中通过权重提取每帧特征的一部分，形成新的特征。

5.如权利要求1所述的基于编码解码网络的交通场景描述方法，其特征在于：

预设模型训练完成后，去除引导模块，采用训练好的编码解码器进行视频字幕的生成。

6.如权利要求1所述的基于编码解码网络的交通场景描述方法，其特征在于：

解码器利用引导模块被鼓励在每一个时间步生成一个与上下文相关的单词。

7.一种基于编码解码网络的交通场景描述系统，其特征在于：包括：

数据获取模块，被配置为：获取交通场景的视频帧图像数据；

图像分割模块，被配置为：对获取的视频帧图像数据进行场景分割，得到去除交通背景后的图像数据；

场景描述模块，被配置为：将得到的图像数据输入到预设模型中，得到用于交通场景描述的视频字幕；

其中，预设模型以编码解码器为框架，训练时：分别将解码后的结果与掩盖了当前和过去时间步长的GroundTruth输入到两个长短期记忆网络中，将输出结果与注意力机制得到的特征进行线性变换，输入到与解码器相同的长短期记忆网络得到引导的描述；

采用Mask RCNN网络去除交通背景，检测分割后的交通参与者。

8.一种计算机可读存储介质，其上存储有程序，其特征在于，该程序被处理器执行时实现如权利要求1-6任一项所述的基于编码解码网络的交通场景描述方法中的步骤。

9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-6任一项所述的基于编码解码网络的交通场景描述方法中的步骤。