[发明专利]一种基于视频特征的改进Faster R-CNN网络检测漂浮物方法

说明书

本发明涉及一种基于视频特征的改进Faster R‑CNN网络检测漂浮物方法，将Faster R‑CNN网络中的二维特征提取网络替换为三维特征提取网络得到改进后的Faster R‑CNN网络；输入连续的16帧视频序列图像到三维特征提取网络中提取特征图，将特征图送入RPN网络生成区域候选框并进行分类属于前景或者背景；对分类为前景的初始候选框进行包围盒回归修正初始矩形框的位置；对所有的侯选矩形框进行排序，选出是前景概率较大的前N个候选框；将特征图通过ROI池化层将N个候选框的特征图映射到固定尺寸；将得到的特征图通过全连接层和softmax层进行漂浮物和非漂浮物的分类，对该特征图再次进行包围盒回归进一步修正检测出的漂浮物坐标位置。本发明能提高漂浮物搜索过程的效率，节省人力物力成本。

技术领域

本发明涉及水利、环保领域，计算机视觉、深度学习领域，特别是一种基于视频特征的改进Faster R-CNN网络检测漂浮物方法。

背景技术

随着城镇建设和工业化的加快，城市内河的漂浮物日益增多，不仅破坏自然景观、污染水质，还将对水利工程、水电枢纽的正常运转产生影响，危害人们的生产生活安全，有效治理漂浮物是水环境治理的重要组成部分。但目前对漂浮物的打捞工作主要依靠人工搜索，效率低下，费时费力。基于视频图像自动检测漂浮物的方法可以大大提高漂浮物搜索过程的效率，节省人力物力成本。

因此，既能保证精准度又具有较好实时性的漂浮物识别方法具有重要的研究意义和实用价值。

现有的基于机器学习或深度学习的河道漂浮物检测方法主要分为基于背景模型的方法和基于网络的方法两类：

基于背景模型的方法使用混合高斯模型或视觉背景提取算子建立河面背景模型，并对背景模型进行实时更新，当新图像进入时使用帧差法提取运动目标，这种方法无法完全过滤掉水波、河岸边的树叶晃动以及光照的影响。或者采用定点分析的方法，事先标注水面范围，通过图像配准提取背景，然后通过颜色纹理检测异常区域，这种方法同样因为光照条件影响或水面涨跌图像配准会出现偏差，且定点分析的方法本身灵活性差，实用性不高。

基于网络的方法主要采用当下比较流行的目标检测网络，如Faster R-CNN、YOLOv2等，但这些目标检测网络都是基于图像的，当场景中出现强倒影、光斑、以及飞过河面的飞鸟蚊虫等情况时，仅仅依靠单张图像难以区分，容易产生误报。而如果采用三维卷积网络如C3D同时提取空间和时间轴上的特征，计算量较大，无法做到实时检测，且河岸边的行人车辆等运动目标会产生干扰。

发明内容

有鉴于此，本发明的目的是提供一种基于视频特征的改进Faster R-CNN网络检测漂浮物方法，可以大大提高漂浮物搜索过程的效率，节省人力物力成本。

本发明采用以下方案实现：一种基于视频特征的改进Faster R-CNN网络检测漂浮物方法，包括以下步骤：

包括以下步骤：

步骤S1：将Faster R-CNN网络中的VGG或ResNet二维特征提取网络替换为三维特征提取网络得到改进后的Faster R-CNN网络；

步骤S2：提供连续的16帧视频序列图像，输入所述连续的16帧视频序列图像到所述改进的Faster R-CNN网络的三维特征提取网络中提取特征图；

步骤S3：将步骤S2中得到的特征图送入到改进的Faster R-CNN网络的RPN网络中生成区域候选框；

步骤S4：对步骤S3中分类为前景的区域候选框进行包围盒回归，修正区域候选框的位置，区域候选框为A＝(A_x,A_y,A_w,A_h)，真实包围盒为GT＝(G_x,G_y,G_w,G_h),回归目标为寻找一种变换F,使得：