[发明专利]基于动态视觉传感器的物体检测方法及设备

权利要求书

1.一种基于动态视觉传感器的物体检测方法，其特征在于，包括以下步骤：

通过动态视觉传感器获取多个图像帧；

采用递归一致网络检测所述图像帧以获取检测对象的候选框，其中所述递归一致网络包括一个帧检测网络模型和一个候选框图模型。

2.根据权利要求1所述的方法，其特征在于，所述帧检测网络模型基于当前帧图像的特征图与由所述候选框图模型生成的前一帧图像的时域一致候选框，生成该当前帧图像的候选检测框。

3.根据权利要求1所述的方法，其特征在于，所述帧检测网络模型包括完全检测网络和快速检测网络。

4.根据权利要求1-3中任意一项所述的方法，其特征在于，所述帧检测网络模型生成当前帧图像的候选检测框的执行步骤包括：

将当前帧图像通过所述完全检测网络的第一至三个卷积层进行处理；

以当前帧以及前一帧图像的第三个卷积层的特征图，和前一帧图像的检测结果作为输入，执行快速检测网络的处理步骤；

若所述快速检测网络中的softmax层预测的置信度值低于阈值，则从第三个卷积层继续执行完全检测网络的处理步骤，并以完全检测网络的输出作为帧检测网络的输出。

5.根据权利要求4所述的方法，其特征在于，若快速检测网络中的softmax层预测的置信度值高于阈值，则将所述快速检测网络的结果作为帧检测网络的输出。

6.根据权利要求3-5中任意一项所述的方法，其特征在于，所述快速检测网络的处理步骤包括：

串联前一帧图像和当前帧图像的特征图，得到当前帧图像更新的特征图；

将前一帧图像的候选检测框的区域作为感兴趣区域ROI，并由ROI池化层从所述更新的特征图中池化出该ROI的特征向量；

将所述ROI的特征向量经过处理得到检测信息。

7.根据权利要求3或4所述的方法，其特征在于，所述完全检测网络的处理步骤包括：

将当前帧图像通过多层卷积层及池化层的处理得到当前帧图像的特征图；

基于所述当前帧图像的特征图，采用区域建议网络回归出当前帧图像的候选框；

利用非极大值抑制算法对所述回归出的当前帧图像的候选框作处理，得到建议ROI；

由ROI池化层在所述当前帧图像的特征图上，动态池化出建议ROI的特征向量；

将每个建议ROI的特征向量经过处理得到检测信息。

8.根据权利要求7所述的方法，其特征在于，所述动态池化出的建议ROI的特征向量均为固定长度。

9.根据权利要求6或7所述的方法，其特征在于，所述检测信息包括用于描述候选检测框的参数和检测对象的分类标识信息。

10.根据权利要求9所述的方法，其特征在于，所述用于描述候选检测框的参数和检测对象的分类标识信息，由每个建议ROI的特征向量经过全连层后，通过包围框回归层和softmax层分别处理后得到。

11.根据权利要求1所述的方法，其特征在于，所述候选框图模型基于每个时刻的候选检测框建立图模型，并将所述候选检测框中满足时域一致性约束的候选检测框作为当前帧图像的时域一致候选框。

12.根据权利要求1所述的方法，其特征在于，所述候选框图模型包括多个图层，且每一个图层对应一帧图像。

13.根据权利要求11所述的方法，其特征在于，所述时域一致性约束表示为检测对象在前一时刻所处位置与当前时刻所处位置之间的距离小于第一预设阈值。

14.根据权利要求13所述的方法，其特征在于，所述距离为欧几里得距离或曼哈顿距离。