[发明专利]一种基于RGB彩色与深度图像的三维运动重建方法

说明书

技术领域

本发明属于视频的三维运动重建技术领域，具体涉及一种基于RGB彩色与深度图像的三维运动重建方法。

背景技术

人体三维运动重建的方法种类繁多，传统方法是在人体各关节部位加装传感器，当人体运动时，传感器会不断地将各关节空间位置信息返回计算机，这样计算机就可以精确获得人体各时刻的运动信息；更简易的运动信息捕获方法针对图像序列进行分析，图像序列可以是单摄像机摄制的，也可以是多个像机同时从各个视角摄制的，这一般分三步顺序完成，首先从图像帧中提取低层特征，如各关节的位置，并对之进行识别，然后是在各个帧的特征间建立对应关系，最后是从特征对应中恢复人体三维骨架。然而，这两种方法所用的设备都比较昂贵，不适合个人电脑的软件开发。

发明内容

本发明的目的是提供一种基于RGB彩色与深度图像的三维运动重建方法，解决了现有的方法重建成本高，重建失真度高，操作复杂的问题。

本发明采用的技术方案是，一种基于RGB彩色与深度图像的三维运动重建方法，具体按照以下步骤实施：

步骤1：使用Kinect获取人体运动的RGB彩色与深度图像；

步骤2：去除RGB彩色与深度图像噪声，并对其进行图像校正处理；

步骤3：根据RGB彩色图像背景的复杂程度采用不同方法去除背景，获得前景RGB彩色图像；

步骤4：基于前景RGB彩色图像且依据肤色模型对脸部及手部进行定位；并将脸部及手部定位质心作为初始获取的关节点；

步骤5：基于学习得到的贝叶斯分类器对RGB彩色图像前景中的运动人体进行部件分类识别；

步骤6：依据分类识别结果判定肢体各刚体结构部位类别，再根据各刚体部件的链接关系确定出各关节点，依次联接各关节点形成平面人体骨架；

步骤7：结合各个关节点深度数据将平面骨架变换成三维立体骨架。

本发明的特点还在于，

其中的步骤3具体按照以下步骤实施：

a.当RGB彩色图像背景简单时，利用背景减除法直接将RGB彩色图像的当前帧I_k(x,y)与已知背景I_bg(x,y)做差，则差分后图像d_k(x,y)＝I_k(x,y)-I_bg(x,y)；

b.当RGB彩色图像背景复杂时，利用深度数据预先设定一个合理的阈值T_k，把当前像素d_k(x,y)同预先给定阈值进行比较，当|d_k(x,y)|>T_k时，(x,y)为运动目标，当|d_k(x,y)|≤T_k时，(x,y)为背景，然后 再将RGB彩色图像中的背景去掉，从而将人体分割出来；

c.通过以上两种方法即可获得前景RGB彩色图像。

其中的步骤5具体按照以下步骤实施：

a.使用专门设备拍摄单目视频，构建有M个人体运动的视频库A＝(A₁,A₂,...,A_i,...,A_M)；

b.对每一个运动视频A_i进行人工标注；

c.提取视频A_i的每帧图像，得到帧图像F_i＝(f_i1,f_i2,...,f_ij,...,f_im)，其中m表示视频A_i的帧数，对每一帧运动视频手工将运动目标分割成左臂、右臂、躯干、左腿、右腿5个肢体部位，且分别记为Z_ij1,Z_ij2,Z_ij3,Z_ij4,Z_ij5，形成训练样本集合；

d.基于多个运动、多帧数据的分割图像学习得到身体各个部位的贝叶斯多类分类器；

e.对贝叶斯多类分类器进行参数修正。

其中的步骤6具体按照以下步骤实施：

a.将已经判断出来的脸、左手和右手的关节点分别记为a、b和c；