[发明专利]智能冰箱中基于Faster‑RCNN的多目标检测方法

权利要求书

1.一种智能冰箱中基于Faster-RCNN的多目标检测方法，其特征在于包括如下步骤：

步骤1，利用冰箱内置摄像头，拍摄冰箱冷藏室内物品图片，并将图片传输至云端；

步骤2，将图片送入多目标检测网络，包括如下内容：

步骤21，将图像数据输入到VGG16基础网络中进行图像特征的提取；

步骤22，在VGG16的最后一层特征图上进行RPN网络搜索，在特征图上的每个滑动窗口位置生成特征向量，并将各特征向量送入两个并列的全连接层做预测，判断是否存在目标及进行坐标回归，然后对RPN提取的可能存在的目标区域进行分类与坐标回归修正，并对目标区域进行非极大值抑制；

步骤23，将识别分数处于设定范围之内的多目标检测框重新收集整合进行再识别；

步骤3，当再识别检测完毕后，结合第一次识别分数高于置信度阈值的目标检测结果在移动端应用中进行最终整体展示。

2.如权利要求1所述的智能冰箱中基于Faster-RCNN的多目标检测方法，其特征在于：所述步骤21中，VGG16基础网络包含13个卷积层和4个池化层，其中，第2、4、7、10个卷积层后面分别设置池化层。

3.如权利要求1所述的智能冰箱中基于Faster-RCNN的多目标检测方法，其特征在于：所述步骤23中，进行再识别的过程是：降低置信度阈值，将识别分数处于设定范围之内的多目标检测框重新整合提取。

4.如权利要求3所述的智能冰箱中基于Faster-RCNN的多目标检测方法，其特征在于：所述整合通过special_nms实现，具体过程是：第一步，将识别分数处于预设置信度阈值范围的目标检测框收集，保留坐标信息，去除分数，分别计算每个目标检测框的面积；第二步，随机固定一个检测框，然后计算其余遍历检测框与固定检测框的IOU大小，如果其IOU小于所设定IOU重叠阈值，保留当前固定框与遍历框的位置坐标；如果其IOU大于所设定IOU重叠阈值，则采用平均调整位置整合当前固定框与当前遍历框的位置坐标，更新成为一个新的检测框；第三步，固定下一个检测框，重复第二步，直至整合完毕。

5.如权利要求4所述的智能冰箱中基于Faster-RCNN的多目标检测方法，其特征在于：所述第二步中，采用平均调整位置整合当前固定框与当前遍历框的位置坐标更新成为一个新的检测框的具体内容是：分配一个Δ参数和一个1-Δ参数分别乘以当前固定框和遍历框的位置坐标，其中，00Δ01。

6.如权利要求4所述的智能冰箱中基于Faster-RCNN的多目标检测方法，其特征在于：所述置信度阈值范围为0.2-0.7。