[发明专利]一种实现手语识别的移动终端及方法

权利要求书

1、一种实现手语识别的移动终端，其特征在于，包括采集视频手语模块、图像处理模块、手势数据库及识别模块，其中，

采集视频手语模块，用于采集手语图像将该手语图像分解为连续的若干帧后，传输给图像处理模块；

图像处理模块，用于对接收的连续的若干帧的手语图像进行处理，得到手势信息后，发送给识别模块；

识别模块，用于调用手势数据库，将手势信息转换为语音。

2、如权利要求1所述的移动终端，其特征在于，所述采集视频手语模块、图像处理模块、手势数据库及识别模块由移动终端中的中央处理器CPU控制。

3、如权利要求1所述的移动终端，其特征在于，所述图像处理模块包括背景去除模块、手掌位置判断模块及提取手势信息模块，其中，

背景去除模块，用于根据预存的用户肤色信息去除得到的手语图像背景；

手掌位置判断模块，用于从去除背景后的手语图像中得到手朝向信息；

提取手势信息模块，用于根据手朝向信息和预存的手指信息从去除背景后的手语图像中提取手势信息。

4、如权利要求3所述的移动终端，所述的手势数据库、预存的用户肤色信息及预存的手指信息都设置在移动终端的存储器中。

5、一种实现手语识别的方法，其特征在于，所述方法包括：

移动终端将采集的手语图像，分解为连续的若干帧；

移动终端对连续的若干帧的手语图像进行处理，得到手势信息；

移动终端根据预设的手势数据库，将手势信息转换为语音。

6、如权利要求5所述的方法，其特征采用，所述对连续的若干帧的手语图像进行处理，得到手势信息是采用“数据手套”方式进行的，过程为：

所述连续的若干帧的手语图像为手指上带不同颜色指帽的手语图像；

对所述连续的若干帧的手语图像进行背景去除后，对去除背景后的手语图像中的手掌进行椭圆拟合，得到手朝向信息；

根据手朝向确定带有不同颜色指帽的手指所在相对位置，提取手势信息。

7、如权利要求6所述的方法，其特征在于，所述背景去除是根据预先存储的用户肤色信息去除的；

所述确定带有不同颜色指帽的手指所在相对位置是根据预先存储的手指信息确定的。

8、如权利要求7所述的方法，其特征在于，所述预先存储的用户肤色信息和/或预先存储的手指信息是经过移动终端的学习过程得到的。

9、如权利要求6所述的方法，其特征在于，所述连续的若干帧的手语图像为单手图像；或者为双手图像，其中一只手带有颜色的手套。

10、如权利要求5所述的方法，其特征在于，所述手势数据库采用HMM模型、CHMM模型或TMHMM模型，将手势信息转换为文本语句，然后采用文本语句-语音转换功能转换为语音；

所述手势数据库根据单手手势信息存储了对应不同的另一只手势信息的语音信息，所述将手势信息转换为语音还需要根据接收的用户发送的指令进行；

或者所述手势数据库为对应两只手的手势信息的语音数据库。