[发明专利]一种基于深度神经网络的视觉场景识别系统及方法

说明书

一种基于深度神经网络的视觉场景识别系统，包括：车载视觉系统，用于采集车辆前视视觉图像；离线训练模块，用于利用深度卷积神经网络对视觉输入对从车载视觉系统采集的车辆前视视觉图像中进行样本采集，进行标注，生成样本标签，并进行神经网络参数分步训练；所述深度卷积神经网络由共享两层浅层卷积特征的三分支分类网络构成，通过样本和训练任务训练网络参数；以及，在线分析模块，采用网络压缩和分时并行分析策略对所述离线训练模块训练后的样本进行实时场景分析，输出车载视觉系统所处道路场景的天时、天候以及场景异常状态。

技术领域

本发明涉及车辆安全领域，特别涉及一种基于深度神经网络的视觉场景识别系统及方法。

背景技术

智能化如今成为了汽车行业的重要发展方向，基于视觉传感器的感知技术日趋成熟，并且在车辆主动安全领域的应用愈发广泛。对于视觉系统而言，针对不同道路环境，从图像采集到应用层算法都会从参数以及策略层面做相应的调整，因而准确的识别视觉输入中的场景信息具有很强的应用价值与意义，并且，视觉场景的异常诊断可以进一步增强系统的鲁棒性与容错性。

现有视觉系统大多不具备完善的此类基本算法，现有的天时判断大多基于系统时钟，天气判断则基于雨量等辅助传感器，此类方法与视觉系统输入本身并不具备强关联性，因而在一些边界情况效果较差。视觉场景的异常诊断则基于视觉输入的分块亮度统计，阈值难以设定，鲁棒性较差。

发明内容

本发明的一个目的在于解决上述现有技术存在的现有天时判断大多基于系统时钟，天气判断则基于雨量等辅助传感器，此类方法与视觉系统输入本身并不具备强关联性，因而在一些边界情况效果较差的问题，提供了一种基于深度神经网络的视觉场景识别系统及方法。

本发明解决其技术问题所采用的技术方案是：一种基于深度神经网络的视觉场景识别系统，包括：车载视觉系统，用于采集车辆前视视觉图像；离线训练模块，用于利用深度卷积神经网络对视觉输入对从车载视觉系统采集的车辆前视视觉图像中进行样本采集，进行标注，生成样本标签，并进行神经网络参数分步训练；所述深度卷积神经网络由共享两层浅层卷积特征的三分支分类网络构成，通过样本和训练任务训练网络参数；以及，在线分析模块，采用网络压缩和分时并行分析策略并利用所述离线训练模块训练后的深度卷积神经网络进行实时场景分析，输出车载视觉系统所处道路场景的天时、天候以及场景异常状态。

本发明利用多任务深度卷积神经网络，对视觉场景所处的天时、天气以及场景异常状况进行识别，输入与视觉系统本身相关性更强，因而对于视觉系统的底层采集以及上层应用所需的配置参数设置更准确且鲁棒性更强，从而可以进一步提升视觉系统本身的感知能力与鲁棒性，输出一方面可以为图像采集以及应用算法提供相关先验信息，如曝光参数、检测分类器选择以及图像处理阈值等，另一方面可以为视觉系统提供图像输入异常的常见诊断，如图像模糊、镜头遮挡等。

进一步地，所述深度卷积神经网络由共享两层浅层卷积特征的三分支分类网络构成，包括：天时识别网络：天时识别网络输入为共享浅层特征，输出为白天、黄昏以及夜晚三种天时分类；天候识别网络：天候识别网络输入为共享浅层特征，输出为晴天、多云、雨天、雪天以及雾天五种天候分类；以及，场景异常识别网络：场景异常识别网络输入为共享浅层特征，输出为场景正常、场景遮挡、场景模糊、场景过暗以及场景过曝五种异常场景分类。

进一步地，所述离线训练模块包括样本采集与标注单元、神经网络参数分步训练单元；所述样本采集与标注单元，用于离线采集车辆前视视觉图像，提取离散时序训练样本，利用空间变换，进行样本扩充；均衡各任务各类别样本分布，进行标注，生成样本标签；所述任务包括：天时识别、天候识别以及场景异常识别；所述类别包括：天时类别、天候类别以及场景异常类别；对于天时类别的样本标签：0-白天，1-黄昏，2-夜晚；对于天候类别的样本标签：0-晴天，1-多云，2-雨天，3-雪天，4-雾天；以及，对于场景异常类别的样本标签：0-正常，1-遮挡，2-模糊，3-过亮，4-过暗；