[发明专利]一种基于单一深度图像的精确三维手和人体姿态估计方法

说明书

本发明中提出的一种基于单一深度图像的精确三维手和人体姿态估计方法，其主要内容包括：网络模型、改进的目标位置、系统的输入、体素对体素预测网络，其过程为，首先给出网络的整体架构，然后利用基于卷积神经网络的方法对目标的位置进行改进，接着使用反投影技术构造出系统的输入，最后用体积基本块、体积残余块、体积下采样块以及体积上采样块四类构造块以及编码器和解码器组成体素对体素预测网络。本发明解决了透视失真以及非线性映射的问题，可以获得高精确度的三维手和人体姿态估计，并且耗时更少，可以做到实时地进行人体行为预测与估计。

技术领域

本发明涉及三维手和人体姿态估计领域，尤其是涉及了一种基于单一深度图像的精确三维手和人体姿态估计方法。

背景技术

人体行为交互是计算机通过定位和识别人类，跟踪人类肢体运动轨迹，跟踪表情特征，从而理解人类的动作与行为，并做出响应。其应用背景十分广泛，主要集中在人机交互、虚拟现实、智能家居、智能安防、智能视频监控、病人监护系统、运动员辅助训练，另外基于内容的视频检索和智能图像压缩等也用到了不少人体行为交互的方法。比如通过在火车站、机场等公共场合检测和估计人物的可疑手部动作或姿势，可以协助安保人员判断其是否为即将实施盗窃或其他危险行为的嫌疑人，从而有效减少盗窃事件和危险事件的发生。再比如，通过在医护室安装深度摄像机监控患有重大疾病的病人，检测和估计病人的手势以及人体姿态，这样可以帮助医护人员判断病人是否需要帮助，并及时做出相应的处理。人机行为交互的主要任务是三维手和人体姿态估计。随着廉价深度摄像机的出现，基于单一深度图像的三维手和人体姿态估计日益受到人们的关注。近来，基于卷积神经网络的方法被用于单一深度图像的三维手和人体姿态估计问题并取得了极大的精确度。但是，这类方法仍然具有局限性，特别是当存在严重的自我遮挡、深度图像质量较差的时候。另外，传统的三维手和人体姿态估计方法具有两个不足：第一是存在二维深度图像的透视失真，从而导致估计失真；第二是深度图像与三维坐标之间存在高度的非线性映射关系，这一非线性映射关系阻碍了系统的学习进程，并影响网络精确估计出目标的三维坐标。

本发明提出了一种基于单一深度图像的精确三维手和人体姿态估计方法，首先给出网络的整体架构，然后利用基于卷积神经网络的方法对目标的位置进行改进，接着使用反投影手段构造出系统的输入，最后用体积基本块、体积残余块、体积下采样块以及体积上采样块四类构造块以及编码器和解码器组成体素对体素预测网络。本发明解决了透视失真以及非线性映射的问题，可以获得高精确度的三维手和人体姿态估计，并且耗时更少，可以做到实时地进行人体行为预测与估计。

发明内容

针对透视失真以及非线性映射的问题，本发明的目的在于提供一种基于单一深度图像的精确三维手和人体姿态估计方法，首先给出网络的整体架构，然后利用基于卷积神经网络的方法对目标的位置进行改进，接着使用反投影技术构造出系统的输入，最后用体积基本块、体积残余块、体积下采样块以及体积上采样块四类构造块以及编码器和解码器组成体素对体素预测网络。

为决解上述问题，本发明提供一种基于单一深度图像的精确三维手和人体姿态估计方法，其主要内容包括：

(一)网络模型；

(二)改进的目标位置；

(三)系统的输入；

(四)体素对体素预测网络。

其中，所述的网络模型，模型的任务是估计所有关节的三维坐标，主要分为以下三个步骤：第一，通过把点反投影到三维空间并离散化连续的空间，从而实现将二维深度图转化为三维体积表示式；第二，把三维体素化的数据作为体素对体素预测网络的输入，用于估计每一个关节的每一个体素的似然值；第三，找出每一个关节的最大似然值所对应的位置以及其所代表的真实坐标，并将此作为模型的最终结果。

其中，所述的改进的目标位置，其前提条件是需要一个包含三维空间中的手或者人体的立体框。