[发明专利]一种基于两个单目摄像头的空间手势定位装置及定位方法

摘要

本发明提出了一种基于两个单目摄像头的空间手势定位装置及定位方法，包括图像信息获取装置和图像处理装置；所述图像信息获取装置包括大视场短焦单目摄像头、小视场长焦单目摄像头、红外补光器和双自由度云台。本发明解决了现有技术中视场角度过小的问题，彩色信息以及尺度信息的提取问题，造价上相对于深度视觉传感器有大幅度的降低。同时针对单目视觉传感器的方案中在较弱光照条件下，系统仍然可以保证较高的性能。

主权项

1.一种基于两个单目摄像头的空间手势定位装置的定位方法，其特征在于，所述定位装置包括图像信息获取装置和图像处理装置；/n所述图像信息获取装置包括大视场短焦单目摄像头、小视场长焦单目摄像头、红外补光器和双自由度云台；所述大视场短焦单目摄像头用于对全景的捕捉，将整个场景捕捉到画面中，从而对整个画面进行分析来定位动作发起者；所述小视场长焦单目摄像头用于捕捉动作发起者的局部手势动作信息；所述红外补光器用于当自然光不充分的情况下，红外补光器自动打开，小视场长焦单目摄像头接收红外补光器在物体上的反射光线，捕捉手势动作的图像信息；所述小视场长焦单目摄像头由双自由度云台搭载，所述双自由度云台在水平与竖直两个自由度上分别进行180度与90度的旋转，从而能够捕捉到任意位置的手势动作信息；所述大视场短焦单目摄像头与小视场长焦单目摄像头分别通过独立的USB线与图像处理装置连接；所述双自由度云台通过USB与图像处理装置进行连接，并接收图像处理装置发出的控制信号，根据所述控制信号进行水平和竖直方向上的旋转；/n所述图像处理装置为图形处理运算的平台，用于图像处理算法的运算以及控制双自由度云台的信号输出；/n所述定位方法包括：/n获取图像信息步骤：利用图像信息获取装置获取图像信息，并对图像进行预处理和初始化；/n计算手势的位置信息步骤：图像处理装置根据预处理和初始化后的图像信息利用图像处理算法进行手势位置信息的计算；/n控制云台运动并输出手势图像步骤：图像处理装置发出控制信号控制双自由度云台的运动并输出手势图像；/n所述获取图像信息步骤具体为：/nA1.通过大视场短焦单目摄像头获取图像；/nA2.通过畸变矫正算法，将大视场短焦单目摄像头获取的图像进行矫正，复原图像在水平和竖直方向上的失真信息；/nA3.对畸变矫正后的图像进行降噪和增强处理；/nA4.通过双自由度云台搭载的小视场长焦单目摄像头在云台的水平和竖直两个方向上进行旋转，然后与A3获得的大视场图像进行动态的标定，获取整张图上的位置和尺度信息地图并进入计算手势的位置信息步骤；/n所述计算手势的位置信息步骤具体为：/nB1.使用人形检测算子检测大视场短焦单目摄像头获取的图像是否存在潜在的动作目标，若存在，标记出人形出现的区域，进入B2；若不存在，则继续检测；/nB2.使用关节检测算子在人形出现的区域内进行关节检测，标记出人体的关键点；/nB3.通过计算关节间的位置关系，找到特定的关节间存在特定的位置关系作为激活姿态，如果发现激活姿态，进入B4；如果未发现激活姿态，将人形区域标记为潜在的激活目标继续进行关机的关系计算；所述激活姿态为左小臂或右小臂举起；/nB4.如果发现左小臂或右小臂举起，寻找到对应的左腕或者右腕关节点信息，然后通过对比整个人形的尺度信息来确认手势区域的尺度信息，通过相应的腕关节与手势的位置关系确定手势在整幅图中的位置关系，从而将确定后的手势区域质心定义为手势的中心；/nB5.通过比较手势的中心与A4中计算的图像的尺度与位置地图，得出手势在整个3D空间内的位置与尺度信息；/nB6.将B5中计算出来的位置与尺度信息换算成双自由度云台需要转动的角度并进入B1状态。/n