[发明专利]一种基于多视角相机估计场景下行人共同关注目标的方法

说明书

本发明提供一种基于多视角相机估计场景下行人共同关注目标的方法，其特征在于，包括以下步骤：(一)相机之间的同步；(二)获取同步后任一时刻下所有相机捕获的行人集合并标记；(三)获取行人的注意力信，方法如下：(1)进行头部姿态检测，获取水平相机拍摄下图像行人的头部姿态角；(2)提取行人的偏航角，记录为行人的头部朝向；(3)对于多个相机捕获到的同一行人，为减小误差，仅保留获取行人分辨率最大的相机下的行人头部朝向，获得各个水平视角相机获得的行人头部朝向集合；(四)行人注意力信息映射到俯瞰视角下；(五)估计共同关注目标。

所属技术领域

本发明属于计算机视觉领域，涉及视频、图像处理技术，具体为一种基于多视角相机估计场景下行人 共同关注目标的方法。

背景技术

近几年，随着拍摄工具的更新迭替与换代升级，如专业相机、运动相机、装载高清摄像头的手机、智 能眼镜、无人机、监控设备或机关人员的执法仪等，高分辨率的视频渐渐地占据了群众市场，从视频中可 以获取的信息也在日益丰富，焦点不再局限于中心的主体，而是清晰地获取到当前视角下的完整信息。也 正是如此，视频的分析工作的精度与需求也得到了进一步提高，从单体的行为分析到群体的行为分析，如 单目标跟踪算法^[1][2]到多目标跟踪算法^[3][4]的演变；从室内简单干净的场景分析到户外背景繁杂的场景分析， 如室内人与人之间交互动作的判断^[5][6]到户外行人交互信息^[7]的分析；从大幅度的动作识别^[8]再到细微的眼 睛注视方向的变化检测^[9]，如场景内人的动作类型判别到分析行人的注视方向判断观察目标^[10]等等，研究 方向的转变也在体现了视频分析的未来发展趋势。检测场景内行人共同关注目标，旨在结合场景内多台相 机拍摄的画面，对场景内行人正在关注的目标或正在发生的事情做一个具体方位的判断。在现实生活中， 大型活动的安防人员手持执法仪在场景中移动拍摄局部实时画面，活动地点的监控摄像头拍摄俯瞰的全局实时画面，结合二者通过检测算法对场景内行人的关注目标进行判断，进而预测行人的移动方向或调度安 防人员，有助于实时掌控场景内的动态变化。

目前的共同关注目标算法在封闭的室内场景下做了大量的工作，大多是通过近距离的人物脸部特写来 提取视线信息，进而判断行人的视线交互。但需要注意的是，这些检测任务是在稳定和可控的室内环境下 进行的，在这种条件下，所提取的人物的视线信息结果能支持准确的交互目标估计。

然而，当场景变换为室外的开阔场景时，行人的视线信息由于一般的运动相机拍摄的画面缺乏近距离 的脸部特写导致几乎无法捕获，因此利用视线信息来协助开阔场景的共同目标检测需对每一位行人进行近 距离的清晰拍摄，这是不现实的。而利用行人的头部朝向信息来代替视线信息，是一种平衡的方法。另外， 开阔场景内，行人之间往往会形成遮挡，碰撞等不利于检测的情况，单相机往往局限于这一点，多视角相 机的拍摄可以有效的解决这一问题，并且再利用无人机或高处俯拍相机拍摄的画面可以协助多相机之间的协调，大大的解决了这一问题。

参考文献：

[1]Lin T Y,Priya G,Ross G,et al.Focal loss for dense object detection[C].In IEEE International Conference on Computer Vision,2017:2980-2988.

[2]Dai J F,Li Y,He K M.R-FCN:Object detection via region-based fullyconvolutional networks[C].In Proceedings of the International Conference onNeural Information Processing Systems,2016:379–387.