[发明专利]一种基于单目摄像头的空中手写人机交互技术

说明书

本发明涉及智能人机交互技术领域，具体涉及一种基于单目摄像头的空中手写人机交互技术，包括以下步骤：基于单目摄像头获取实时二维视频图像并取帧，检测并获取二维视频图像中手部运动区域完整二值化图像，基于手部运动区域完整二值化图像，获取手部轮廓进行手部分割，获取手掌轮廓，分割手掌轮廓获取指尖轮廓并根据指尖轮廓数量判定书写开始或结束，基于指尖轮廓特征完成指尖匹配获取指尖坐标，响应于指尖移动并基于坐标系虚拟滑动技术生成空中书写文本。本发明提高人机交互系统使用的舒适性、普适性，降低人机交互系统局限性，且通过坐标系虚拟滑动技术，避免用户空中书写长文本时出现文本叠加，字符扭曲的问题，从而增强人机交互系统的实用性。

技术领域

本发明涉及智能人机交互技术领域，尤其涉及一种基于单目摄像头的空中手写人机交互技术。

背景技术

随着人工智能的快速发展，人机交互的发展趋势更加智能且对人更友好，即人机交互对人的约束越少越好。而文字作为信息的主要载体之一，在人机交互领域中占据非常重要的地位。

目前最常见的大多数人机交互方式是利用键盘、鼠标、触摸屏或者手写板等接触式设备进行信息交互，但由于受到按键数量、屏幕大小等限制，并不利于长文本输入，携带也不方便，且在虚拟现实和智慧大屏等场景中，局限性很大。

另一种人机交互方式为空中手写交互技术，作为一种新型的人机交互方式，因为其书写方式更加自然、人性化，可以让用户进行非接触式的人机交互，受限性较小，给用户提供了一种更加舒适自由的体验感。目前空中手写交互技术主要基于穿戴/手持、具备深度信息的3D传感器(例如LeapMotion、Kinect等)、WIFI信号这三类系统。但是用户穿戴/手持设备进行人机交互会受到连接线和手持设备大小的影响，会到用户造成一定的束缚感，无法给用户提供较好的舒适性；借助WIFI信号进行空中手写人机交互时对WIFI环境要求较为严格，局限性较大；而基于LeapMotion、Kinect等具有深度信息的3D传感器虽然可以很好的跟踪和定位指尖位置，但此类3D传感器体积大，而且价格昂贵，普适性不足。且目前大多数空中手写技术都是对单个字符或者数字进行研究，因为在进行书写长文本时会导致文本相互叠加的现象，字符结构扭曲严重，增加辨识难度。但是在实际应用中，用户往往需要的是连续书写文本，提高空中手写交互系统实用性。

发明内容

本发明为了解决现有智能人机交互技术中设备携带不便，局限性大，舒适性不高，普适性不足以及空中书写长文本会造成文本叠加，字符扭曲的技术问题，提供了一种基于单目摄像头的空中书写人机交互技术，提高人机交互系统使用的舒适性、普适性，降低人机交互系统局限性，避免用户空中书写长文本时出现文本叠加，字符扭曲的问题，从而增强人机交互系统的实用性。

为实现上述目的，本发明提供如下技术方案：

本发明的一个方面在于，提供一种基于单目摄像头的空中书写人机交互技术，所述方法包括以下步骤：

获取摄像头实时二维视频图像，对所述二维视频图像进行取帧获取二维视频图像帧，基于连续所述二维视频图像帧获取二维视频图像序列；其中，所述摄像头为PC设备自带单目摄像头或外置单目摄像头；

获取所述二维视频图像序列中的所述二维视频图像，检测所述二维视频图像中的手部运动区域，基于所述手部运动区域中的手部运动信息以及颜色特征，获取手部运动区域完整二值化图像；

基于所述手部运动区域完整二值化图像中的手部几何结构特征，获取手部轮廓，对所述手部轮廓进行手部分割，获取手掌轮廓；

将所述手掌轮廓进一步分割，获取指尖轮廓，对所述指尖轮廓数量进行判断，并根据所述判断的结果判定本文书写开始或者结束；

基于指尖轮廓特征完成指尖匹配并获取指尖坐标；

响应于指尖移动并基于坐标系虚拟滑动技术获取所述指尖移动过程中经过的指尖坐标序列，根据所述指尖坐标序列生成空中书写文本。