[发明专利]一种基于视频特征的改进Faster R-CNN网络检测漂浮物方法

权利要求书

1.一种基于视频特征的改进Faster R-CNN网络检测漂浮物方法，其特征在于：

包括以下步骤：

步骤S1：将Faster R-CNN网络中的VGG或ResNet二维特征提取网络替换为三维特征提取网络得到改进后的Faster R-CNN网络；

步骤S2：提供连续的16帧视频序列图像，输入所述连续的16帧视频序列图像到所述改进的Faster R-CNN网络的三维特征提取网络中提取特征图；

步骤S3：将步骤S2中得到的特征图送入到改进的Faster R-CNN网络的RPN网络中生成区域候选框；

步骤S4：对步骤S3中分类为前景的区域候选框进行包围盒回归，修正区域候选框的位置，区域候选框为A＝(A_x,A_y,A_w,A_h)，真实包围盒为GT＝(G_x,G_y,G_w,G_h),回归目标为寻找一种变换F,使得：

F(A_x,A_y,A_w,A_h)＝(G′_x,G′_y,G′_w,G′_h)，

(G′_x,G′_y,G′_w,G′_h)≈(G_x,G_y,G_w,G_h)；

步骤S5：对步骤S4中所有修正坐标后的区域侯选框进行是前景的概率的排序，对前K个候选框通过两次非极大值抑制法剔除与真实目标重叠度低的候选框以及超出图像边界的候选框，再选出是前景的概率较大的前N个候选框送入步骤S6；

步骤S6：结合步骤S2所得的特征图通过改进的Faster R-CNN网络的ROI池化层将是前景的概率较大的前N个候选框特征图映射到固定尺寸的特征图上；所述固定尺寸为7×7×depth；

步骤S7：将步骤S6映射后得到的N个候选框的特征图通过改进的Faster R-CNN网络的全连接层和softmax层进行漂浮物和非漂浮物的分类，同时对该特征图再次进行包围盒回归进一步修正检测出的漂浮物坐标位置。

2.根据权利要求1所述的一种基于视频特征的改进Faster R-CNN网络检测漂浮物方法，其特征在于：步骤S1中所述将二维特征提取网络替换为三维特征提取网络的具体过程为：原始的二维特征提取网络输入为图像即Width×Height×Channel,修改后输入为一段视频序列即Length×Width×Height×Channel,其中Length指输入的视频序列帧数，对应的基础层中卷积核也从二维卷积核修改成三维卷积核，池化从二维池化修改成三维池化。

3.根据权利要求1所述的一种基于视频特征的改进Faster R-CNN网络检测漂浮物方法，其特征在于：步骤S1中所述的改进的Faster R-CNN网络的三维特征提取网络共包含8个卷积层，所有的卷积都是在3×3×3的三维卷积核上进行操作，用以同时提取空间和时间上的特征，每两个卷积层之后接一个2×2×2的最大池化层，经过4次池化之后，时间轴上将被压缩为1。

4.根据权利要求1所述的一种基于视频特征的改进Faster R-CNN网络检测漂浮物方法，其特征在于：所述步骤S3的具体内容为：首先，所述RPN网络对所述特征图每个点生成初始候选框，以每个点为中心在其领域生成三种尺度即4、8、16，三种比例即1：1、1：2、2：1的9个初始候选框，然后对所述特征图进行1×1的卷积，通过softmax函数将每个所述初始候选框分类为前景或者背景，并请分类为前景的作为区域候选框。