[发明专利]基于图像物体检测技术的利用摄像头的视频实物计数方法

权利要求书

1.一种基于图像物体检测技术的利用摄像头的视频实物计数方法，其特征在于，包括如下步骤：

步骤1)预训练阶段：利用已经在常用的图像物体检测数据集来训练图像物体检测模型，使其能识别并标记出图像中的实物种类，保存模型参数至检查点；

步骤2)微调阶段：如果需要计数的实物已经被包含在数据集中，并且识别准确度满足要求，则直接进行步骤3)，否则，从摄像头所拍摄的一部分视频中随机提取多个包含这些实物的帧，为这些图像标记出要计数的实体，在预训练的模型的基础上，利用这些新标记的数据集从检查点开始继续训练该模型使得其能识别并标记这些实物；

步骤3)视频计数阶段：提取每一个需要计数的视频的所有帧，通过经过以上步骤训练好的模型识别并标记出要计数的实物，匹配、跟踪每一帧之间的实物；定下一个基准线的位置，每当一个实物的中心从基准线的一侧移动到另一侧时，记录该实体，当该实物中心离开基准线一段距离时，实物所属类别的计数器加一。

2.根据权利要求1所述基于图像物体检测技术的利用摄像头的视频实物计数方法，其特征在于，所述步骤1)中图像物体检测数据集是MS COCO数据集、ImageNet数据集或CIFAR数据集。

3.根据权利要求1所述基于图像物体检测技术的利用摄像头的视频实物计数方法，其特征在于，所述步骤1)中图像物体检测模型是Mask RCNN模型、Fast/Faster RCNN模型、VGG模型、ResNet模型或Inception模型。

4.根据权利要求1所述基于图像物体检测技术的利用摄像头的视频实物计数方法，其特征在于，所述步骤1)中图像物体检测模型能够输入任意大小的图像，并且输出图像中所有检测到的实物在图像中的位置、大小及名称。

5.根据权利要求1所述基于图像物体检测技术的利用摄像头的视频实物计数方法，其特征在于，所述步骤2)中新标记的数据集是从所有待检测的摄像头拍摄的所有视频中选取5个以上的视频，每个视频选取不超过10个帧，组成是数据集中验证集和训练集的比例为1:5～1:2。

6.根据权利要求1所述基于图像物体检测技术的利用摄像头的视频实物计数方法，其特征在于，所述步骤2)中新标记的数据集标注格式要符合图像物体检测模型的格式要求，物体检测的标注格式为应当检测的实物的矩形框的左上顶点的坐标、矩形框的大小以及实物种类，图像分割的标注格式为应当检测的实物的一个多边形边界的所有顶点坐标组成的有序的二维数组以及实物种类。

7.根据权利要求1所述基于图像物体检测技术的利用摄像头的视频实物计数方法，其特征在于，所述步骤2)微调阶段的训练的过程中，设置模型的每个周期的步数为20～100，使得模型在新标记的数据集上的损失函数收敛至最小，准确率收敛至最大。

8.根据权利要求1所述基于图像物体检测技术的利用摄像头的视频实物计数方法，其特征在于，所述步骤3)中基准线的位置范围是画面的宽度或高度的10％～90％。

9.根据权利要求1所述基于图像物体检测技术的利用摄像头的视频实物计数方法，其特征在于，所述步骤3)中每一帧之间的实物的匹配、跟踪是首先记录每个被检测到的实物的位置，下一帧时遍历所有检测到的实物，找到实物中心的加权距离最小的作为上一帧中对应的实物，并且为了防止跟踪过程中未识别出该实物，设定一个遗忘值，范围为1～10，若未检测到的帧数超过该遗忘值，则判定该实物失效。

10.根据权利要求1所述基于图像物体检测技术的利用摄像头的视频实物计数方法，其特征在于，所述步骤3)中实物的中心离开基准线的一段距离是实物的大小的10％～50％。