[发明专利]一种基于Kinect的手写方法

权利要求书

1.一种基于Kinect的手写方法，其特征在于，包括如下步骤：

步骤1、捕捉视频信息；

步骤2、分析处理并分割视频信息，分割得到每一帧图像里面用户的手部；

步骤3、把分割后的视频信息分为两个模块：手写轨迹定位和字符识别模块与手势识别和响应模块。

2.根据权利要求1所述的手写方法，其特征在于，步骤3中：

所述手写轨迹定位和字符识别模块的工作过程包括如下步骤：

（A）在人手分割的结果上进行指尖定位，并且定位得到的指尖位置；

（B）将书写检测得到的所有指尖点位置拼接起来得到完整字符的连笔进行字符重构，并把重构后的字符输入到字符识别引擎，得到识别结果，并输出识别结果；

所述手势识别和响应模块的工作过程包括如下步骤：

（a）在人手分割的结果上提取手部信息特征，所述手部信息特征作为手势识别的输入，如果提取的所述手部信息特征的变化与预先设定的手势的变化规则一致，则可被判定为所述手势正在进行书写，所述手势识别和响应模块检测用户的手势变化输入手写系统，所述手写系统包括：用户登入手势操作、落笔手势操作、抬笔手势操作、选择手势操作、删除手势操作和注销手势操作；

（b）系统检测到手势，界面做出相应响应。

3.根据权利要求1所述的手写方法，其特征在于，步骤1中，采用微软的Kinect传感器来采集视频信息，所述视频信息包括彩色图像深度图像；并利用Kinect将用户的手部从背景中分离出来。

4.根据权利要求1所述的手写方法，其特征在于，步骤2中，所述分析处理并分割视频信息采用了一种混合模型的算法，所述混合模型的算法对肤色模型、深度模型和背景模型分别进行建模；所述肤色模型的分割结果、深度模型的分割结果和背景模型的分割结果分别被输入到神经网络的评价系统，所述神经网络输出肤色模型的置信系数、深度模型的置信系数和背景模型的置信系数，所述分割结果取决于肤色模型、深度模型和背景模型经由置信系数加权之后的综合，所述加权之后的综合指：所述肤色模型的分割结果、深度模型的分割结果和背景模型的分割结果分别乘以各自的置信系数得到三个二值图，然后把所述的三个二值图进行累加，最后把累加的结果经过阈值得到最终分割结果。

5.根据权利要求4所述的手写方法，其特征在于，4所述神经网络是感知器模型，所述感知器模型分为输入层、隐藏层和输出层，所述肤色模型、深度模型和背景模型这三个模型分割结果的两两重叠率输入所述神经网络的输入层，所述肤色模型的置信系数、深度模型的置信系数和背景模型的置信系数由神经网络的输出层输出，所述隐藏层具有神经元，所述神经网络的激活函数是sigmod函数。

6.根据权利要求2所述的手写方法，其特征在于，步骤（A）中，所述指尖定位采用了双模式切换的指尖定位算法，所述双模式切换的指尖定位算法通过手部的物理模型来决定选用的模式，对形态角度的手部自适应地采用相应的指尖定位算法。