[发明专利]一种利用单深度相机和人体约束的运动参数测量方法

权利要求书

1.一种利用单深度相机和人体约束的运动参数测量方法，其特征在于，包括如下步骤：

a)利用深度相机捕捉人体深度图像和RGB彩色图像，采集21个人体关节点数据，通过计算各个人体关节点之间的欧氏距离和关节点的坐标信息，得到人体约束数据；

b)将深度图像、RGB彩色图像与2D人体姿态检测模型相结合，利用21个人体关节点及其深度信息获得人体关节点三维坐标；

c)当检测到关节点缺失时，使用简单移动平均算法及人体约束数据对缺失的关节点位置进行预测；

d)当检测到关节点跳变时，使用中值滤波算法、回溯法及人体约束数据对关节点进行约束；

步骤a)中将深度相机捕捉的深度图像与彩色图像对齐操作，使深度图像的像素与彩色图像的像素保持一一对应关系，通过深度相机的色彩流colorstream调用depthaligncolor()对齐函数获取对齐对象align，对于深度相机捕捉的任意一帧图像frame，利用align调用深度帧函数get_depthframe()和彩色帧函数get_colorframe()获取深度帧depth_frame和彩色帧color_frame；

步骤b)包括如下步骤：

b-1)将深度帧depth_frame输入2D人体姿态检测模型，得到21个人体关节点的二维坐标i∈{1,...,21}；

b-2)利用彩色帧color_frame的内参矩阵color_intrin和深度距离Z获取第i个关节点的三维坐标color_point(X_i^color,Y_i^color,Z)，depth_frame.get_distance()表示在深度帧depth_frame下调用get_distance()函数得到二维坐标的深度距离，式中fx为深度相机捕获的RGB彩色图像的平面的焦距的横坐标值，fy为深度相机捕获的RGB彩色图像的平面的焦距的纵坐标值，ppx为深度相机捕获的RGB彩色图像的投影中心的横坐标，ppy为深度相机捕获的RGB彩色图像的投影中心的纵坐标；

步骤c)包括如下步骤：

c-1)对于当前帧图像frame中缺失的关节点A，通过公式利用当前帧图像frame之前的N帧关节点A的坐标信息求和取平均预测缺失关节点的二维坐标A-i为当前帧图像frame之前的第i帧中关节点A的坐标，i∈{1,...,N}；

c-2)利用彩色帧color_frame的内参矩阵color_intrin和深度距离Z获取预测缺失关节点的三维坐标depth_frame.get_distance()表示在深度帧depth_frame下调用get_distance()函数得到二维坐标的深度距离，

步骤d)包括如下步骤：

d-1)找寻到与关节点C最近的关节点B，通过公式计算得到第l+1帧关节点B和关节点C的距离Joint_length_l，L为深度相机每秒采集图像的数目，L为奇数，式中(X_i,Y_i,Z_i)为关节点B的三维坐标，(X_i+1,Y_i+1,Z_i+1)为关节点C的三维坐标，用于存储关节点C与关节点B间的距离，使用公式Distance＝Mid(sort(Joint_Length[L]))利用sort()函数对列表中元素进行排序后通过Mid()函数对排序后的列表元素取中值得到L帧关节点C与关节点B间的中位数距离Distance，Joint_Length[L]＝[Joint_length_0,...,Joint_length_l,...,Joint_length_L-1]，Joint_length_0为第1帧关节点C与关节点B间的距离，Joint_length_L-1为第L帧关节点C与关节点B间的距离；

d-2)对于关节点C，如果当前帧的深度距离Z与上一帧的深度距离Z的差值大于0.3m且当前帧关节点C与关节点B的距离小于中位数距离Distance则判定关节点C跳变，将当前帧的关节点C的二维坐标回溯为上一帧对应的关节点C的二维坐标，将当前帧的关节点C的三维坐标回溯为上一帧对应的关节点C的三维坐标。