[发明专利]一种基于编码解码网络的交通场景描述方法及系统

说明书

本公开提供了一种基于编码解码网络的交通场景描述方法及系统，获取交通场景的视频帧图像数据；对获取的视频帧图像数据进行场景分割，得到去除交通背景后的图像数据；将得到的图像数据输入到预设模型中，得到用于交通场景描述的视频字幕；其中，预设模型以编码解码器为框架，训练时：分别将解码后的结果与掩盖了当前和过去时间步长的GroundTruth输入到两个长短期记忆网络中，将输出结果与注意力机制得到的特征进行线性变换，输入到与解码器相同的长短期记忆网络得到引导的描述；本公开在模型训练阶段提出了一个引导模块，以鼓励编码器‑解码器结构在翻译中生成与过去和未来单词相关的单词，提高了视频内容描述的准确度。

技术领域

本公开涉及视频图像处理技术领域，特别涉及一种基于编码解码网络的交通场景描述方法及系统。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术，并不必然构成现有技术。

从驾驶员的角度描述一个交通场景是一项富有挑战性和回报性的任务。由于交通参与者数量众多，使得计算机难以捕获关键信息。以往的交通场景理解工作主要集中在交通场景理解的子任务上，必须通过后续处理来完成交通场景理解。

视频字幕被广泛关注，它根据视频内容提供自然的语言描述。视频字幕的开发可应用于后续的视频检索或摘要生成，帮助视障人士了解现实，它也可以应用在交通领域，以帮助智能驾驶的发展。视频字幕既涉及计算机视觉，又涉及语言处理，由于内容的丰富，用自然语言描述视频具有极大的挑战性。

发明人发现，现有的编码-解码器框架在视频字幕任务中表现良好，但存在着不足，教师强制策略通常用于训练编解码器模型，使每个词的预测概率接近于0-1分布，导致网络忽略上下文词，这一弱点影响了翻译中句子的一致性，不利于视频内容的描述。

发明内容

为了解决现有技术的不足，本公开提供了一种基于编码解码网络的交通场景描述方法及系统，在模型训练阶段提出了一个引导模块，以鼓励编码器-解码器结构在翻译中生成与过去和未来单词相关的单词，提高了视频内容描述的准确度。

为了实现上述目的，本公开采用如下技术方案：

本公开第一方面所述的一种基于编码解码网络的交通场景描述方法。

一种基于编码解码网络的交通场景描述方法，包括以下步骤：

获取交通场景的视频帧图像数据；

对获取的视频帧图像数据进行场景分割，得到去除交通背景后的图像数据；

将得到的图像数据输入到预设模型中，得到用于交通场景描述的视频字幕；

其中，预设模型以编码解码器为框架，训练时：分别将解码后的结果与掩盖了当前和过去时间步长的GroundTruth输入到两个长短期记忆网络(Long-short Term Memory，LSTM)中，将输出结果与注意力机制得到的特征进行线性变换，输入到与解码器相同的长短期记忆网络引导编码解码器生成更好的描述。

本公开第二方面提供了一种基于编码解码网络的交通场景描述系统。

一种基于编码解码网络的交通场景描述系统，包括：

数据获取模块，被配置为：获取交通场景的视频帧图像数据；

图像分割模块，被配置为：对获取的视频帧图像数据进行场景分割，得到去除交通背景后的图像数据；

场景描述模块，被配置为：将得到的图像数据输入到预设模型中，得到用于交通场景描述的视频字幕；

其中，预设模型以编码解码器为框架，训练时：分别将解码后的结果与掩盖了当前和过去时间步长的GroundTruth输入到两个长短期记忆网络中，将输出结果与注意力机制得到的特征进行线性变换，输入到与解码器相同的长短期记忆网络引导编码解码器生成更好的描述。