[发明专利]基于多分支卷积神经网络的交通场景风险评估方法及系统

说明书

本公开提供了一种基于多分支卷积神经网络的交通场景风险评估方法及系统，所述方案首先根据视频帧提取光流信息，然后将视频帧图像作为空间信息，光流图像作为时间信息输入到时空多分支卷积神经网络中进行学习与训练；另外，本公开在卷积神经网络的基础上，添加了时移模块和注意力模块：时移模块使相邻帧之间的时空特征实现了信息交换，且不增加网络参数数量；注意力模块可以学习到场景中发生特殊变化的区域，这些都增加了风险估计准确率；在训练与测试过程中采用稀疏时间采样策略，将视频分为多段并抽取视频帧输入网络，在避免了相邻帧之间信息冗余的同时也加快了现实应用中的计算速度。

技术领域

本公开涉及交通场景风险评估技术领域，尤其涉及一种基于多分支卷积神经网络的交通场景风险评估方法及系统。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

随着全球经济的不断发展，汽车和驾驶员的数量正逐年攀升，根据公安部公布的数据，我国汽车保有量已突破2亿辆，而道路交通安全问题也愈发凸显，受到人们的广泛关注。世界卫生组织的最新统计数据显示，全世界每年因道路交通事故死亡人数约有125万，我国更是全球范围内发生道路交通事故最多的国家，庞大的汽车保有量使我国承受着更为巨大的道路交通安全威胁。

近几年来，视频拍摄和存储技术迅速发展，行车记录仪作为一种道路交通事故发生后的责任判定辅助工具进入市场，安装率逐年增长，进而也产生了大量的随车拍摄的视频。而自动驾驶领域，汽车通过超声波雷达、毫米波雷达、激光雷达和摄像头等传感器探测车辆周围环境，也将产生大量的视频数据。如果能通过这些视频对当前道路环境进行风险评估，并及时提醒驾驶员或自动驾驶系统，将极大地提高驾驶安全性，减少事故发生，保障驾驶员的生命财产安全。

现有的交通场景风险评估方法大部分使用的是道路监控摄像头拍摄的视频，一类方案是通过对道路交通进行视频序列采集，提取视频中的车辆加速度、方向变化、几何位置信息，判断是否发生异常事件；另一类对监控视频中的运动车辆进行检测与跟踪，根据目标的速度、行驶方向和轨迹等特征分析车辆行为。发明人发现，道路监控摄像头虽然具有视频背景固定，角度合适，采用一些传统的图像处理方法或简单的神经网络便可以对危险驾驶行为作出检测或预测的优点，但是道路监控摄像头的检测结果仅能提供较大范围的道路风险评估，无法对局部位置的道路风险进行有效评估，且无法将评估结果实时有效的提供给驾驶员。基于上述问题，部分研究人员提出了针对车载摄像头拍摄视频的交通场景风险估计方法，但是，由于车载摄像头拍摄的视频存在背景运动、视频抖动和拍摄角度等问题，所述方法特征提取模型设计过程较为复杂，无法获得良好的评估精度，且计算耗时也相对较长。

发明内容

本公开为了解决上述问题，提供一种基于多分支卷积神经网络的交通场景风险评估方法及系统，本公开所述方案通过采用多分支卷积神经网络进行交通场景风险评估，同时设计了时移模块、注意力模块和稀疏时间采样机制，有效地提升了风险评估的准确性和效率。

根据本公开实施例的第一个方面，提供了一种基于多分支卷积神经网络的交通场景风险评估方法,包括：

获取交通场景视频，根据预设频率截取视频帧序列，并计算相邻帧间的光流图，将所述视频帧序列及光流图数据分别划分为训练集与测试集；

构建多分支卷积神经网络模型，并嵌入时移模块和注意力模块，分别作为空间分支网络和时间分支网络；

利用所述训练集对所述多分支卷积神经网络模型进行训练；

将所述测试集输入训练好的多分支卷积神经网络模型，生成交通场景中风险发生的评估分数。