[发明专利]一种基于ExtremeNet融合双阶段的图像目标检测方法

权利要求书

1.一种基于ExtremeNet融合双阶段的图像目标检测方法，其特征在于，包括以下步骤：

步骤(1)本发明使用了最具有挑战的图像目标检测数据集MS COCO作为实验数据集，该数据集中包含了164k张图像和897K个被标注来自80个类别的目标。相比于其他数据集，本数据集除了有bounding box的标注，还有单个实例分割的标注，帮助更准确的定位目标；

步骤(2)输入图像，采用计算机视觉库Opencv中的读图片方法读取输入的图像，得到图像的像素矩阵表示为image_data_i；

步骤(3)选择由104个全卷积层组成的堆叠沙漏网络(HourglassNet104)作为图像中目标关键点的位置提取网络keypoint_net，将步骤(2)中得到的图像的像素矩阵表示image_data_i，输入到关键点提取网络keypoint_net中，得到图像中目标所有极端点(最顶部、最左侧、最底部、最右侧)热图extreme_heatmap和中心点热图center_heatmap，

步骤(4)将步骤(3)提取到的图像中所有目标的关键点热图keypoint_heatmap中的关键点，进行排列组合得到多个目标候选框target_candidate_box，但这些候选框中只有小部分才是真正的目标区域。

步骤(5)采用一个提案二分类器(proposal binary classification)对步骤(4)中得到的所有目标候选框target_candidate_box与真实框ground_truth进行交并比计算完成二分类，筛选出可能是真实目标组合框的候选框。交并比IoU可由公式1来计算：

公式1中，C表示目标候选框的面积，G表示真实目标框的面积。

下面通过交并比IoU计算所得值对损失函数进行约束，将双阶段的二分类器融合到单阶段方法ExtremeNet中，这种方法可以过滤掉大多数假阳性框，从而提高其检测精确度，具体计算如下：

公式2中，N为正样本数量，M为目标候选框总数，p_m为目标候选框的客观评分，α为平滑损失超参数，δ为设定的阈值，用来判断候选框与真实框的IoU是否超过阈值，根据IoU的值决定候选框是否为感兴趣区域(RoI)；

步骤(6)构建多分类器对步骤(5)得到的感兴趣区域进行多分类，用于判断感兴趣区域RoI的目标类别，从而实现目标分类任务。

步骤(7)构建边界框回归器，对步骤(5)得到的RoI进行边界框回归操作，使得目标候选框与真实目标框的坐标更加接近，从而实现目标定位任务。

2.根据权利要求1所述的一种基于ExtremeNet融合双阶段的图像目标检测方法，其特征在于：所述步骤(2)中，采用计算机视觉库Opencv中cv2.imread()方法读取图片，具体实现为为image_data_i＝cv2.imread(image_path)。

3.根据专利要求1所述的一种基于ExtremeNet融合双阶段的图像目标检测方法，其特征在于：所述步骤(3)中，采用HourglassNet104而非HourglassNet52，使得到的关键点定位更加准确。特征图经过更多次上采样和下采样操作，多层卷积操作可以充分利用语义信息，能够更精确的提取图像中目标关键点位置坐标。

4.根据专利要求1所述的一种基于ExtremeNet融合双阶段的图像目标检测方法，其特征在于：所述步骤(5)中，设置δ＝0.7，且使用损失函数使得到的候选框更接近真实框。将双阶段的二分类器应用于ExtremeNet目标检测过程中，先大致判断候选区域是否包含目标，从而节约了计算成本开销。并且在提高对图像中目标分类准确度的同时也提高了检测目标的召回率。