[发明专利]用于跟踪对象的方法和系统

说明书

一种跨图像流跟踪对象的方法包括将流的初始帧传递通过包括多个卷积层的第一神经网络。从第一神经网络输出的特征图被提供给包括至少一个完全连接层的第二多分类器神经网络，以确定在划定初始帧中限定给定类别的对象边界的感兴趣区域(ROI)。存储从第一神经网络的第一卷积层输出的与ROI相对应的特征图，以作为用于第三多层神经网络的至少第一层神经元的权重。来自流的后续帧被获取，并且该帧通过使用第一神经网络被逐ROI扫描，以针对每个ROI从第一卷积层生成相应的特征图。特征图被提供给第三多层神经网络，以提供以下输出以标识具有与所存储的特征映射最佳匹配的特征映射的候选ROI，该输出与用于第一层神经元的权重的特征映射和为候选ROI提供的特征映射之间的匹配水平成比例。所存储的特征映射权重利用来自最佳匹配候选ROI的权重来更新。

技术领域

本发明涉及一种跨图像流跟踪感兴趣的对象的方法和系统。

背景技术

Viola-Jones在下文的US 2002/0102024中公开了一种用于检测感兴趣区域(ROI)的方法，该感兴趣区域包括诸如所采集的图像内的脸部的对象，通常为视频流中的图像帧。简而言之，Viola-Jones首先从所采集的图像中得出积分图像。该积分图像的每个元素被计算为图像中该点的左上角的所有点的强度之和。然后可通过从右下角的子窗口的积分图像值中减去左上角的子窗口的积分图像值来得出图像中的任何子窗口的总强度。可使用来自子窗口的点的积分图像值的特定组合高效地比较相邻子窗口的强度。

基于Viola-Jones的对象检测器通过将分类器应用于积分图像内的候选子窗口，基于矩形(并且越来越细化)的Haar特征以及积分图像，使用例如32个预先训练的分类器链(级联)。为了完成对所采集的图像中扫描区域的分析，该子窗口跨积分图像递增地移动，直到扫描区域被覆盖。

应当理解，将Viola-Jones分析应用于待检测的每种尺寸的对象的图像的每个部分仍然是处理器相当密集的，这可能会阻止系统以足够快的速度运行，而不能实时检测和跟踪图像流中的对象。

因此，已经开发出这种基本技术的许多改进方案。例如，PCT申请WO2008/018887(参考号：FN-143)公开了一种用于跟踪图像流中的脸部的图像处理装置，该申请的公开内容以引用方式并入本文。该流的每个所采集的图像均以指定的分辨率被子采样，以提供子采样图像。将固定尺寸的脸部检测应用于该积分图像的至少一部分上，以提供一组候选脸部区域。响应于产生一组候选脸部区域以及任何先前检测到的候选脸部区域，调整分辨率以对后续所采集的图像进行子采样。

于2017年3月30日公开的WO2017/054941(参考号：FN-471-PCT)公开了通过首先确定感兴趣区域(ROI)来跨图像流跟踪目标。通过以下方法来为ROI提供HOG图：将ROI划分为M×N单元的阵列，每个单元包括多个图像像素；并且为单元中的每个单元确定HOG。HOG图作为表示对象的特征而被存储。后续帧从图像流处获取。这些帧被逐ROI扫描，以标识候选ROI，其具有最佳匹配所存储的HOG图特征的HOG图特征。如果该匹配满足阈值，则根据用于最佳匹配候选ROI的HOG图，来对表示对象特征的所存储的HOG图进行更新。

然而，仍然需要一种用于跨图像流跟踪一个或多个对象的更有效的机构。

发明内容

根据本公开，提供了一种跟踪对象的方法。

在另一方面，提供了一种用于跟踪对象的系统。

本发明的实施方案可提供简单和硬件友好的对象跟踪。

在一些实施方案中，使用第一检测机构在帧序列内的初始帧中自动检测包含待跟踪的感兴趣对象(目标)的原始ROI。

或者，ROI可通过与应用程序的交互来限定，其中用户用诸如鼠标的指针或在触摸屏上限定一个方框。在这种情况下，用户可与预览图像流交互，并且一旦ROI被限定，即可将其被限定所处的帧作为初始帧。