[发明专利]一种基于多视角相机估计场景下行人共同关注目标的方法

权利要求书

1.基于多视角相机估计场景下行人共同关注目标的方法，其特征在于，包括以下步骤：

(一)相机之间的同步

共同关注目标检测过程开始前的预备阶段，场景中的多台相机需从同一时刻T开始记录场景，以及确定所有的水平视角相机均在俯瞰视角相机的拍摄范围内，方法如下：

(1)优先固定俯瞰视角相机V₀的位置，得到俯瞰视野，令其余水平视角相机设置在俯瞰视野V₀内，便于相机的定位，设水平视角相机的个数为n，各个水平视角相机被称为V₁，V₂，...，V_n；

(2)令所有水平相机拍摄同一设定行人目标S_r，令目标S_r做起始动作，动作结束后水平相机自由拍摄场景，拍摄结束后以起始动作为准，手工同步相机拍摄视频；

(二)获取同步后任一时刻下所有相机捕获的行人集合S并标记，方法如下：

(1)获取所有的相机拍摄图像内的目标，仅保留行人目标，得到所有的相机的行人集合分别对应V₀，V₁，V₂，...，V_n视角下的行人集合；

(2)以俯瞰视角相机的行人集合为准，对行人集合进行行人匹配，相同的行人目标使用相同的标记，对于仅保留存在于集合的行人目标，舍去无参考意义的行人目标；

(三)获取行人的注意力信，方法如下：

(1)进行头部姿态检测，获取水平相机拍摄下图像行人的头部姿态角；

(2)提取行人的偏航角(yaw)，记录为行人的头部朝向其中为对应行人编号S₁，S₂，...，S_m的行人的水平视角的头部朝向；

(3)对于多个相机捕获到的同一行人，为减小误差，仅保留获取行人分辨率最大的相机下的行人头部朝向，获得各个水平视角相机获得的行人头部朝向集合；

(四)行人注意力信息映射到俯瞰视角下，方法如下：

(1)对于每个水平视角相机获取的行人头部朝向集合，计算世界坐标系下每一位行人头部朝向与对应相机拍摄的图像水平方向的夹角α，得到每个水平视角相机的夹角α集合：对于水平视角V₁，计算获得夹角集合其中α₁，α₂，...，α_m为对应S₁，S₂，...，S_m的行人的夹角，对于其他视角的水平相机，也做同样的处理；

(2)统一相机方向，在俯瞰视角下，根据已知的每个水平视角相机的位置，获得水平相机的拍摄方向：对于水平视角V₁的拍摄方向以水平视角V₁的相机位置为起点，作的正向向量即代表对应水平视角相机V₁的拍摄方向的垂直方向；对于其他的水平视角相机，也做同样的处理；

(3)获取每位行人的俯瞰视角下的头部朝向向量，对于水平视角相机V₁内的每一位行人，在俯瞰视角下作的平行向量，得到水平视角相机V₁内所有行人的平行于的向量，并基于每个行人的水平视角的夹角，得到水平视角相机V₁内所有行人在俯瞰视角下的头部朝向；对于其他视角的相机，也做同样的处理，得到所有行人在俯瞰视角下的头部朝向集合其中为对应行人编号S₁，S₂，...，S_m的行人的俯瞰视角的头部朝向；

(五)估计共同关注目标，方法如下：

(1)通过步骤(二)得到的俯瞰视角下行人集合来获取每位行人的位置信息；

(2)计算每一个行人观察的行人对象：对于行人S₁，计算与其他行人的连线和头部朝向的夹角

θ的集合θ＝{θ₁₂，θ₁₃，...，θ_1m}，取最小值θ_min，若求得的θ_min若介于0°-15°之间，则将行人S₁观察的对象累加一次被观察次数，对于俯瞰视角内的其他行人都做相同的处理；

(3)得到所有行人被观察次数的集合N＝{N₁，N₂，...，N_m}，其中N₁，N₂，...N_m为对应行人s₁，S₂，...，S_m的被观察次数，取最大值N_max，N_max≥2，若得到的N_max仅对应一名行人且与实验拍摄数据设定目标相同，则代表实验成功；反之，则需返回精准行人注意力信息，重复步骤(三)至(五)，若集合N中，若最大值N_max对应多名行人且实验拍摄数据无设定，则代表当前场景内无共同关注目标。