[发明专利]一种用于目标跟踪的人机交互装置

权利要求书

1.一种用于目标跟踪的人机交互装置，其特征在于，所述装置包括头盔设备，在所述头盔设备上设置有信息处理器、显示装置、视线追踪系统和多个摄像头；

所述摄像头安装于所述头盔设备四周，所述摄像头用于实时拍摄所述头盔设备周围的场景视频并将拍摄的场景视频传输至所述信息处理器；

所述视线追踪系统与所述信息处理器对接，所述视线追踪系统通过对使用者的人眼视线追踪，确定使用者选择跟踪场景中的跟踪目标；

所述信息处理器用于将所述场景视频进行融合拼接，得到360度的全景视频，还用于对从所述视线追踪系统确定的跟踪目标进行跟踪；

所述显示装置用于接收并显示所述全景视频。

2.根据权利要求1所述的人机交互装置，其特征在于，所述摄像头至少4个，分别安装于头盔设备四周的前后左右四面，所述显示装置为眼镜式微型显示屏。

3.根据权利要求2所述的人机交互装置，其特征在于，所述信息处理器包括目标获取模块、初始化模块和跟踪模块；所述目标获取模块根据所述视线追踪系统得到的跟踪目标，从所述全景视频中选取一帧图像作为起始帧，并标记起始帧中跟踪目标；所述初始化模块用于对起始帧进行初始化处理，所述跟踪模块根据所述初始化模块的初始化结果，对跟踪目标进行跟踪。

4.根据权利要求3所述的人机交互装置，其特征在于，所述对起始帧进行初始化处理，具体包括：

(1)从起始帧中跟踪目标所在的目标区域内采样一定数量的局部图像块作为正训练样本，从目标区域附近的背景区域内随机采样一定数量的局部图像块作为负训练样本；

(2)从正训练样本和负训练样本中提取起始帧的图像特征，该图像特征包括：正训练样本的颜色特征、梯度特征及其相对于跟踪目标中心的空间位置偏移信息和负训练样本的颜色特征及梯度特征，根据得到的图像特征构建一个决策树为I的霍夫森林检测器；

(3)从目标区域内随机采用一定数量的局部图像块作为光流跟踪块，并对光流跟踪块的初始位置进行随机初始化。

5.根据权利要求4所述的人机交互装置，其特征在于，所述跟踪定位模块包括外观评价子模块、运动评价子模块、定位子模块和目标尺度更新及选择子模块；

所述外观评价子模块用于对通过霍夫森林检测器后的t时刻的视频帧中跟踪目标中心位置坐标进行霍夫投票，根据投票结果得到外观特征置信度值；

所述运动评价子模块用于根据跟踪目标在空时域的运动信息，对光流跟踪块进行处理，输出t时刻的视频帧中跟踪目标中心位置坐标的运动特征置信度值；

所述定位子模块用于根据获得外观特征置信度值和运动特征置信度值对t时刻时的视频帧中跟踪目标中心位置坐标进行估计，得到跟踪目标中心位置估计坐标；

所述目标尺度更新及选择子模块用于根据定位子模块得到的估计坐标，实现对目标区域的尺度更新同时从更新后的t时刻视频帧中重新选取正训练样本、负训练样本和光流跟踪块，根据重新选取的正训练样本和负训练样本对霍夫森林检测器进行更新。

6.根据权利要求5所述的人机交互装置，其特征在于，所述对光流跟踪块进行处理，输出t时刻视频帧中跟踪目标中心位置坐标的运动特征置信度值，具体包括：

(1)根据从所述初始化模块得到的光流跟踪块，利用Lucas-Kanade光流算法得到每一个光流跟踪块在t时刻时光流跟踪块的中心位置，利用中值滤波滤除前向-后向光流误差较大的光流跟踪块，得到t时刻时有效光流跟踪块中心位置的集合和有效光流跟踪块相对于跟踪目标中心的偏移量集合其中，K为有效光流跟踪块的个数，(ν_k^t,ω_k^t)为t时刻时第k个有效光流跟踪块中心位置坐标；dν_k表示第k个有效光流跟踪块中心位置坐标的水平方向的偏移量，dω_k表示第k个有效光流跟踪块中心位置坐标的垂直方向的偏移量；

(2)利用下式计算t时刻的跟踪目标中心位置坐标位于(x,y)处的运动特征累积投票值：

其中，为t时刻跟踪目标的中心位置位于坐标(x,y)处的运动特征累积投票值；η_k为第k个有效光流跟踪块的权重，K为有效光流跟踪块的个数；(ν_k,ω_k)为第k个有效光流跟踪块的中心位置坐标；(dν_k,dω_k)为第k个有效光流块的中心位置相对于跟踪目标的中心位置坐标的偏移量；σ²为一个常数参量，且σ²＝4；κ为一个常数参量，w为目标区域的宽，h为目标区域的高；

(3)利用下式，得到t时刻时跟踪目标的中心位置位于(x,y)处的运动特征置信度值：

式中，为t时刻时跟踪目标的中心位置位于(x,y)处的运动特征置信度值，表示t时刻时跟踪目标的中心位置位于坐标(x,y)处的运动特征累积投票值，H为感兴趣区域，感兴趣区域是指目标区域及其目标区域附近的背景区域，所有可能为跟踪目标的中心位置坐标点处的运动特征累积投票值构成的集合。