[发明专利]一种基于时空上下文学习的手部姿态估计方法

权利要求书

1.一种基于时空上下文学习的手部姿态估计方法，其特征在于，包括以下步骤：

S1、获取用于训练手部姿态估计的连续帧深度图像数据集；

S2、在空间以及时间维度上使用空间网络以及时间网络分别建模对应的上下文信息；

S3、根据输入图像使用融合网络为时间空间模型的输出进行融合；

S4、建立手部姿态估计的预测模型；

S5、使用所述的预测模型对连续帧深度图像进行手部姿态估计。

2.如权利要求1所述的基于时空上下文学习的手部姿态估计方法，其特征在于，步骤S1中，获取用于训练手部姿态估计的连续帧深度图像数据集，包括N个训练视频，每个训练视频中含有连续帧深度图像(X₁，...，X_T)_train，以及预先标注的手部关节点位置(J₁，...，J_T)_train。

3.如权利要求2所述的基于时空上下文学习的手部姿态估计方法，其特征在于，步骤S2中，在空间以及时间维度上使用空间网络以及时间网络分别建模对应的上下文信息具体包括：

S21、针对连续帧深度图像(X₁，...，X_T)_train中的任意一帧深度图像，先将图像缩放到128×128尺寸，再对其随机旋转和翻转，最后进行归一化使其缩放到-1到1之间，最终得到归一化深度图像(I₁，...，I_T)_train作为算法输入，随后按照深度值将归一化深度图像转换为128×128×8的三维体素表达(V₁，...，V_T)_train后也作为算法输入，并对(J₁，...，J_T)_train做与(X₁，...，X_T)_train对应的旋转和翻转变换，得到

S22、为建模空间上下文信息，对任意一帧深度图像I_t以及三维体素表达V_t进行空间网络操作F_spatio(·)，所述的空间网络操作中，对I_t以及V_t均使用每一层加入ReLU激活函数的三层卷积操作以及最大池化操作进行下采样，分别得到特征以及随后使用总层数为3的层级融合方法对两个特征进行融合，即：

m＝1，2

其中：φ_m，t表示第m层的融合特征，以及为第m层的全连接函数，以及均为第m层的全连接层参数；再使用一个全连接操作回归手部关节点坐标

将以上空间网络操作形式化表达为：

其中：F_spatio(·)表示空间网络操作，Θ_spatio为空间网络中的参数；

S23、为建模时间上下文信息，对S21中得到的多帧深度图像(I₁，...，I_T)_train，逐帧进行时间网络操作F_temp(·)，所述的时间网络操作中，先使用每一层加入ReLU激活函数的三层卷积操作以及最大池化操作进行下采样，得到特征(ψ₁，...，ψ_T)，其中深度图像I_t的特征ψ_t＝H(I_t；θ_c)，H(·)为卷积操作，θ_c为卷积参数；使用LSTM对得到的特征进行时间维度的关联建模，得到隐含层特征(h₁，...，h_T)，t时刻的隐含层特征h_t下式计算得到：

i_t＝σ(W_hi*h_t-1+W_xi*ψ_t+b_i)

f_t＝σ(W_hf*h_t-1+W_xf*ψ_t+b_f)

o_t＝σ(W_ho*h_t-1+W_xo*ψ_t+b_t)

c_t＝(f_t⊙c_t-1)+(i_t⊙tanh(W_hc*h_t-1+W_xc*ψ_t+b_c))

h_t＝o_t⊙tanh(c_t)

其中：i_t为t时刻输入门的输出，f_t为t时刻的遗忘门的输出，o_t为t时刻输出门的输出，c_t为t时刻的最终记忆，W_hi、W_xi、W_hf、W_xf、W_ho、W_xo、W_hc、W_xc均表示权重，b_t、b_f、b_t、b_c均表示偏置；*和⊙分别表示矩阵乘法和矩阵对应元素相乘操作，σ(·)表示sigmoid函数；再使用一个全连接操作对拼接的特征[ψ_t，h_t]进行手部关节点坐标的回归；

将以上时间网络操作形式化表达为：

其中：F_temp(·)表示时间网络操作，Θ_temp为时间网络中参数。