[发明专利]一种基于Kinect的实时深度图与彩图的配准及优化方法

权利要求书

1.一种基于Kinect的实时深度图与彩图的配准及优化方法，其特征在于：所述方法包括以下步骤：

(1)利用Microsoft推出的应用程序编程接口Kinect SDK2.0来对Kinect设备进行连接；

(2)获取原始深度数据流和彩色数据流；

(3)利用背景帧填补深度图细小空洞；

(4)利用双向线性扫描轮询插值法填补深度图较大空洞；

(5)通过Kinect SDK2.0提供的函数MapDepthFrameToColorSpace获得深度图像和彩色图像的坐标映射关系m_pColorCoordinates；

(6)对映射表m_pColorCoordinates坐标异常部分处理；过程如下：

(6.1)坐标左边缘异常部分处理

对于每一个在映射表中处于最左端的点(0,y)，其中0≤y＜depthHeight，depthHeight为深度图的高，执行以下步骤：

(6.1.1)从映射表的(0,y)向右扫描，设扫描到的点为(index,y),则提取出三个连续像素点(index,y)，(index+1,y)，(index+2,y)，从映射表中分别提取出它们对应的坐标点A,B,C，执行6.1.2)；若index值为depthWidth，则停止扫描并结束步骤；其中depthWidth为深度图的宽；

(6.1.2)如果A、B以及B、C曼哈顿距离都小于预先定义的阀值threshold，则认为A,B,C为无异常的连续坐标点，接着执行(6.1.3)；否则回到(6.1.1)；其中曼哈顿距离公式如下：

d(i，j)＝|xi-xj|+|yi-yj|

其中d(i,j)为曼哈顿距离，xi、yi为第一个坐标点的坐标，xj、yj为第二个坐标点的坐标；

(6.1.3)从(index,y)往回遍历到(0,y),对于其间每一个点(i,y)，0≤i＜index,重置它在映射表的值m_pColorCoordinates(i,y)，假定为坐标D,其公式如下：

D.X＝A.X-(index-i)*3

D.Y＝A.Y

其中D.X,D.Y分别为D的x,y坐标值，A.X,A.Y分别为A的x,y坐标值；

遍历完后回到(6.1.1)；

(6.2)坐标右边缘异常部分处理

仿照步骤(6.1)处理最右端的点(depthWidth,y),其中0≤y＜depthHeight，depthWidth、depthHeight分别为深度图的宽和高；

(6.3)标记重影坐标区域及内部坐标异常区域

建立一个重影标记表map_use,大小为depthWidth*depthHeight，将map_use中的每一个点的值初始化为0，代表不为重影或者坐标异常区域，对于每一个在映射表中处于最左端的点(0,y)，其中0≤y＜depthHeight，执行以下步骤：

(6.3.1)从映射表m_pColorCoordinates的(0,y)向右扫描，设扫描到的点为(index,y),则提取出两个连续像素点(index,y)，(index+1,y)，从映射表中分别提取出它们对应的坐标点A,B，执行(6.3.2)；若index值为depthWidth，则停止扫描并结束步骤；

(6.3.2)如果A、B的X坐标符合关系A.X>B.X，则认为B为坐标异常点，接着执行(6.3.3)；否则回到(6.3.1)；

(6.3.3)从(index+1,y)开始向右扫描，设扫描到的点为(i,y)，其对应的坐标为C,如果C.X<A.X,则标记map_user(i,y)的值为1，表示对应点处在重影或异常点区域，接着继续扫描；否则停止扫描，回到(6.3.1)；

(7)建立与彩图对准的深度图像color_depth；

(8)裁剪彩色图像和对准后的深度图像，减除深度相机和彩色相机拍摄区域不重合的区域，从而实现深度图像和彩色图像的完全对准。