[发明专利]一种基于不完备特征的头部姿态跟踪装置及方法

说明书

本发明公开了一种基于不完备特征的头部姿态跟踪装置及方法，基于计算机视觉的头部姿态检测系统，对实时采集的视频流进行归一化处理，然后通过CNN训练的模型进行特征确认是否有面部，如检测面部失败，则通过训练过的对抗网络模型将面部特征不完整的部分进行补全；在视频中跟踪人脸的位置，然后通过受稀疏约束的模型来标记面部特征点位置，利用PnP算法得出头部姿态的Pitch、Yaw、Roll三个角度值[θ_xθ_yθ_z]，再发送给随动云台，因而，本发明能够提供准确的头部位置姿态信息，实时性高且鲁棒性好。

技术领域

本发明属于目标检测跟踪和远程控制技术领域，更为具体地讲，涉及一种基于不完备特征的头部姿态跟踪装置及方法。

背景技术

头部姿态检测广泛应用于虚拟现实与人机交互、智能机器人控制和疲劳驾驶检测等领域。

统计数据表明，25％—30％的道路交通事故是由驾驶人注意力分散造成的。研究驾驶人的头部姿态，进而对驾驶人的注意力进行分析，对于降低交通事故的发生率。因此，头部姿态检测对于分析驾驶人的驾驶行为、驾驶人的精神状态等具有重要意义。

虚拟现实应用是一个高度逼真地模拟人在自然环境中的视、听、动等行为的人机交互技术。虚拟现实的交互是通过人类自然技能与虚拟环境进行交互观察与操作，这种操作涉及视觉、听觉、触觉等多种感知功能。利用头部姿态检测与跟踪技术的人机交互系统能使现实世界与虚拟世界建立有机联系，构建更加逼真的虚拟现实环境，同时也有助于对高级的主动视觉反馈系统的研究

智能移动服务机器人是头部姿态检测的重要应用领域，智能轮椅作为一种具有代表性的智能移动服务机器人，是当前研究的热点。但是在目前应用的电动轮椅中，使用者还是主要靠操纵杆或按钮来手动控制轮椅的运动，而对于一些严重残疾人士如四肢瘫痪者，摇杆控制以及部分肢体控制例如手势控制等方法受到了很大的制约，因此，头势控制作为一种新型的人机交互方式成为了近年来研究的热点。

目前采用的头部姿态检测方法分为以下几类：

1、佩戴运动传感器方法：此类方法通过在测试对象头部安装加速度计和陀螺仪传感器，通过接收传感器运动数据判断头姿，此类方法但需要佩戴装置，用户体验较差，且存在零度漂移问题，每次使用之前需要校准，操作繁琐。

2、LED标定方法：通过佩戴有一定数量LED的头套，利用摄像头捕捉头套图像，再根据LED的位置判断当前的位置，同样，此方法精度高，但仍需佩戴装置并且进行校准。

3、基于图像的人脸头部姿态估计算法：主要分为基于模型的方法和基于人脸表观的方法。其中，基于模型的方法实现简单、计算高效准确、易于理解，由于受非约束坏境中的投影几何形变、背影光照变化、前景遮挡问题和低分辨率等因素的影响，而准确的特征点检测在姿态变化较大，光线条件不好的条件下仍然是一个急待解决的挑战。使得不完备特征情况下的头部姿态多自由度估计一直是一个亟需解决的问题。

为了解决上述方法存在的问题，本发明采用计算机视觉与传感器融合检测头部姿态的方法，并利用深度学习解决不完备特征时目标跟踪不准确的问题，利用深度卷积神经网络解决头部姿态检测中受非约束坏境中的投影几何形变、背影光照变化、前景遮挡问题和低分辨率等问题，较为准确地实现不完备特征情况下的头部姿态多自由度估计。

同时控制摄像头跟随操作人员头部姿态进行现场视频采集，解决操作复杂等问题，采用双目视觉摄像头，模拟人眼解决视场小、缺乏深度信息等问题。采取环幕显示与VR头盔显示等不同显示方法，对不同的检测方案与不同的需求提供解决方案。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于不完备特征的头部姿态跟踪装置及方法，基于深度学习的头部姿态识别和不完备特征的头部姿态识别，提供准确的头部位置姿态信息，实时性高且鲁棒性好。