[发明专利]一种基于单目摄像头的空中手写人机交互技术

权利要求书

1.一种基于单目摄像头的空中书写人机交互技术，其特征在于，所述技术包括以下步骤：

获取摄像头实时二维视频图像，对所述二维视频图像进行取帧获取二维视频图像帧，基于连续所述二维视频图像帧获取二维视频图像序列；其中，所述摄像头为PC设备自带单目摄像头或外置单目摄像头；

获取所述二维视频图像序列中的所述二维视频图像，检测所述二维视频图像中的手部运动区域，基于所述手部运动区域中的手部运动信息以及颜色特征，获取手部运动区域完整二值化图像；

基于所述手部运动区域完整二值化图像中的手部几何结构特征，获取手部轮廓，对所述手部轮廓进行手部分割，获取手掌轮廓；

将所述手掌轮廓进一步分割，获取指尖轮廓，对所述指尖轮廓数量进行判断，并根据所述判断的结果判定本文书写开始或者结束；

基于指尖轮廓特征完成指尖匹配并获取指尖坐标；

响应于指尖移动并基于坐标系虚拟滑动技术获取所述指尖移动过程中经过的指尖坐标序列，根据所述指尖坐标序列生成空中书写文本。

2.根据权利要求1所述的一种基于单目摄像头的空中书写人机交互技术，其特征在于，所述基于所述手部运动区域中的手部运动信息以及颜色特征，获取手部运动区域完整二值化图像，包括以下步骤：

基于平均背景差分法对所述二维视频图像进行处理，获取手部运动区域初步二值化图像；

基于HSV颜色空间，对所述二维视频图像进行阴影检测，获取阴影检测结果，基于所述阴影检测结果，对所述手部运动区域初步二值化图像实现阴影消除，获取手部运动区域完整二值化图像。

3.根据权利要求2所述的一种基于单目摄像头的空中手写人机交互技术，其特征在于，所述基于平均背景差分法对所述二维视频图像进行处理，获取手部运动区域初步二值化图像，包括以下步骤：

取手部进入摄像头检测范围之前的若干帧的所述二维视频图像的像素均值得到初始背景B₀(x,y)，基于所述初始背景B₀(x,y)、更新权重α以及当前帧图像F_k(x,y)在背景差分过程中实时更新背景图像，获得当前背景图像B_k(x,y)，k≥1，所述k表示采样次数；

基于所述背景图像B_k(x,y)以及当前帧图像F_k(x,y)，利用背景差分获取差分图像D_k(x,y)，通过设置阈值th对所述差分图像D_k(x,y)进行二值化处理，获取当前采样手部运动区域初步二值化图像R_k(x,y)。

4.根据权利要求3所述的一种基于单目摄像头的空中手写人机交互技术，其特征在于，所述基于HSV颜色空间，对所述二维视频图像进行阴影检测，获取阴影检测结果，基于所述阴影检测结果，对所述手部运动区域初步二值化图像进行去阴影化，获取手部运动区域完整二值化图像，包括以下步骤：

将所述背景图像B_k(x,y)以及当前帧图像F_k(x,y)从RGB颜色空间转换成HSV颜色空间，分别获得所述背景图像B_k(x,y)以及当前帧图像F_k(x,y)在HSV颜色空间上色度H、饱和度S以及亮度V的三个分量；

基于所述背景图像B_k(x,y)以及当前帧图像F_k(x,y)在HSV颜色空间上的分量B_H(x,y)，B_S(x,y)，B_V(x,y)，F_H(x,y)，F_S(x,y)，F_V(x,y)，对所述二维视频图像进行阴影检测，获取阴影检测结果，基于所述阴影检测结果，对所述手部运动区域初步二值化图像R_k(x,y)进行去阴影化，获取手部运动区域完整二值化图像。