[发明专利]基于双视点手势识别的汉字识别方法

摘要

本发明涉及一种基于双视点手势识别的汉字识别方法，将手的动作分为笔划书写的动作和两笔划之间的过渡动作，与此相对应，定义有效手势和无效手势，包括对书写汉字时采集的手部图像进行色彩空间转换，分割出的手势二值化图像；计算手势中心点；在书写汉字时，在进行动态轨迹识别时，先判断一下此手势是否为有效手势；计算视差；根据视差原理，计算获得指尖点的三维坐标；连接有效手势的空间位置，得到书写汉字的轨迹。本发明可实现多角度的手势识别和轨迹跟踪，能够提高用户输入的自由度。

主权项

一种基于双视点手势识别的汉字识别方法，将手的动作分为笔划书写的动作和两笔划之间的过渡动作，与此相对应，定义有效手势和无效手势分别代表两种输入状态，分别对应汉字笔画书写轨迹和笔画之间的过渡轨迹；定义伸出一只食指朝上为有效手势，写有效笔划的时候使用有效手势；定义握拳为无效输入手势，手在两笔划位置之间过渡时使用无效手势。包括下列步骤：第一步：对书写汉字时采集的手部图像进行色彩空间转换，选取在YCbCr色彩空间进行肤色建模并进行手势分割，分割出的手势二值化图像。第二步：在分割出的手势二值化图像中，手势区域像素值为1，背景区域的像素值为0，计算手势中心点第三步：在书写汉字时，在进行动态轨迹识别时，先判断一下此手势是否为有效手势方法如下：利用canny算子进行边缘提取，根据提取的边缘得到一个矩形边界，计算手的指尖与中心的距离，即上边界与中心点的距离d1，手腕与中心点，即下边界和中心点的距离d2，若满足d1/d2≥1.4，则判断该手势为有效手势，否则为无效手势；第四步：对于含有有效手势的帧图像，在双目相机获得的左右两幅图像中，选右图为基准图进行立体匹配并计算视差。计算步骤如下：1)将基准图和待匹配图都转为灰度图；2)选基准图的指尖点p为兴趣点，以其为中心建立窗口，计算窗口里的像素灰度特征作为参考值；3)在待匹配图里建立一个相同尺寸的窗口，移动并不断计算窗口覆盖区域的像素灰度特征；4)判断移动窗口和基准窗口特征值的相似性，取相似程度最高的窗口为匹配的窗口，窗口的中心点即为匹配点p'；5)计算视差disparity＝p'(x)‑p(x)。第五步：根据视差原理，计算获得指尖点的三维坐标；第六步：对所有含有有效手势的帧进行第四步和第五步处理，连接有效手势的空间位置，得到书写汉字的轨迹。