[发明专利]一种基于Kinect视觉的唇读研究的方法

权利要求书

1.一种基于Kinect视觉的唇读研究的方法，其特征在于：具体有以下步骤组成：

步骤一：通过Kinect采集所需脸部三维数据，并对数据进行预处理；

步骤二：定位唇区，提取唇部18个特征点，进行编号建模；

步骤三：提取特征，分别是特征点间的角度特征和特征点的坐标特征，并进行归一化处理；

步骤四：采用隐马尔可夫模型以及K-近邻算法对特征进行训练识别。

2.根据权利要求1所述的一种基于Kinect视觉的唇读研究的方法，其特征在于：步骤一对采集的数据进行了预处理，具体步骤如下：

通过采集获得语料库，将获取到的数据加标签及时间戳进行序列化，全部存到一个二进制文件中；将原始数据进行预处理，其一，要把整段音频进行切割，分成每个词一段音频，同时对应的彩色图像及深度数据也要同步的保存到同一位置；其二，我们需要将不合格的数据剔除，并进行重新补录。

3.根据权利要求1所述的一种基于Kinect视觉的唇读研究的方法，其特征在于：步骤二在步骤一的基础上进行唇区定位，具体步骤如下：

在数据采集阶段，利用Kinect传感器得到了说话人脸部预先定义的121个特征点的三维坐标信息；通过对数据进行大量实验，得到了唇部18个特征点所对应的脸部121个特征点的序号；根据18个点的位置关系，提取得到每个词的每帧图像对应的唇部所有特征点的三维坐标信息。

4.根据权利要求1所述的一种基于Kinect视觉的唇读研究的方法，其特征在于：步骤三在步骤一和步骤二的基础上进行特征提取，具体步骤如下：

有两种特征中可以选择，对应不同的选取及归一化方法；其一，是与传统的特征提取方式进行类比，以特征点间的角度作为特征，是使用K-近邻法选取得到；其二，是以唇部18个特征点的坐标直接作为特征，进行归一化之后进行训练识别。

5.根据权利要求1所述的一种基于Kinect视觉的唇读研究的方法，其特征在于：步骤四在步骤一、步骤二和步骤三的基础上对归一化的数据进行训练识别，具体步骤如下：

按照训练集和测试集配比为3:2以及全训练全识别的方式进行训练识别，训练识别的方式采用K-近邻法算法分类和HMM模型训练识别；通过比较识别结果与测试集的标签，可以得到识别率。