[发明专利]一种船舶航行环境视觉感知设备及方法

说明书

本发明涉及一种船舶航行环境视觉感知设备及方法，该方法包括：获取多帧融合偏振图像、船舶航行环境的雷达数据图和RGB图像；将所述融合偏振图像、所述雷达数据图和所述RGB图像进行信息融合后，输入至改进条件生成式对抗网络进行数据增强，生成融合增强数据；将所述融合增强数据输入至多尺度卷积神经网络进行场景分割识别，生成场景分割图，识别船舶航行环境中的不同物体。本发明多尺度多模态地获取场景图像特征，捕捉水上不同场景的视觉特征，并基于雷达、视觉进行数据融合，来提高视觉检测结果的稳定性和准确性，并采用数据增强方法和多尺度卷积神经网络，保证网络识别分类的有效性，实现智能船舶的自主导航。

技术领域

本发明涉及自主航行技术领域，尤其涉及一种船舶航行环境视觉感知设备及方法。

背景技术

传统的图像语义分割方法主要包含像素级别阈值法、基于像素聚类的分割方法以及基于图论划分的分割方法。其主要依赖于图像的低维视觉特征进行分割，采用基于颜色、纹理、边缘等视觉特征，用一些特征提取算法提取图像中物体的边缘特征、纹理等视觉信息，然后根据这些低层的视觉特征对图像中的区域和物体进行分割，如常用的图像特征有方向梯度直方图特征，SIFT特征，SURF特征，局部二值特征(LBP)，Gabor特征等。

基于卷积神经网络(Convolutional Neural Network，CNN)的方法不需要人工参与，便能够从大量样本图像数据集中自动地学习与语义相关的有用特征，并能够获得更加精确的结果，较传统语义分割方法具有明显的优势。Long等人提出的全卷积网络(FullyConvolutional Networks，FCN)是语义分割模型的开山之作，DeepLab、SegNet等网络模型结构均与FCN相同。与基于FCN的方法相比，Noh等人提出的反卷积网络(DeconvolutionNetwork，DeconvNet)克服了物体尺度带来的高识别错误问题。为了充分利用物体与图像和物体与物体之间存在的上下文关系，提高语义分割的精度，Yu和Chen等人都使用了扩张卷积(dilated convolution)来聚合多尺度的上下文信息。Zhao等人提出的PSPNet通过空间池化模块和空间场景解析网络，利用不同区域的上下文信息聚合全局上下文信息。Lin等人提出通过多尺度图像作为输入产生不同尺度的特征图，来提高语义分割的精度。熊志勇等人将图像缩放为三个不同的尺度，作为网络的输入，通过多尺度融合算法生成输出图。蒋应锋等人提出多尺度交替迭代训练，对每个像素进行类别标定，并应用超像素描绘分割图的轮廓。刘丹等人以超像素为中心，提取不同尺度的图像块作为网络的输入，将多尺度CNN模型结构用于图像语义分割。Zheng等人提出的CRFasRNN模型和Lin等人提出的将CNNs和CRFs相结合的模型都利用了CNN的特征提取优势和CRF概率图形建模的优势，来提高不同图像区域之间的语义相关性。通过卷积神经网络得到的结果往往存在边缘分割不清等问题，针对此问题，通常用条件随机场(Conditional Random Field,CRF)、全连接条件随机场(FullyConnected CRF，FullCRF)、马尔科夫随机场(Markov Random Field，MRF)和高斯条件随机场(G-CRF)来优化网络的输出，从而得到更加精确的分割结果。H Zhao等人分析了当前主流的算法，发现大部分算法都没有利用整体的先验场景信息，容易发生误判，因而构造了金字塔池化模块来解决误判问题，其主要思想是通过基于不同区域的上下文聚合，充分利用全局上下文信息的能力，使用全局先验信息有效地提高了场景解析任务的质量。在多尺度特征融合方面，H kong等人提出了一种将浅层卷积特征下采样，中层卷积层特征保持不变，深层卷积层特征进行转置卷积，分别进行局部归一化处理后进行合并操作，使用融合后的特征进行物体检测。因此，研究一种准确识别多样复杂水面航行环境的方法是当前需要解决的问题。

发明内容

有鉴于此，有必要提供一种船舶航行环境视觉感知设备及方法，用以解决现有技术中难以准确识别复杂的水面航行环境的问题。