[发明专利]一种基于音视频双模态的口语学习监测方法

权利要求书

1.一种基于音视频双模态的口语学习监测方法，其特征在于，包括如下步骤：

a)建立所有标准发音单元的声音信息库和图像特征信息库；

b)实时采集用户口语学习时的语音及视频信息，压缩编码后传送到服务器端；

c)服务器接收到用户上传的数据解码后，对用户的语音进行切分，得到用户的每个发音单元的声音信息，并给出用户的每个发音单元与标准发音单元的声音信息匹配度；

d)服务器从同时采集的视频信息中提取出每个发音单元对应的图像动作特征信息，并给出用户的每个发音单元与标准发音单元的图像特征信息匹配度。

2.如权利要求1所述的基于音视频双模态的口语学习监测方法，其特征在于，所述声学信息匹配度采用隐马尔可夫模型，特征为梅尔倒谱特征，匹配度为隐马尔可夫模型后验概率输出。

3.如权利要求1所述的基于音视频双模态的口语学习监测方法，其特征在于，所述图像特征信息包括每个发音单元对应的嘴唇、牙齿和舌头的位置，所述图像特征信息匹配度为用户发音时的嘴唇、牙齿和舌头的位置与标准发音单元对应的位置偏差。

4.如权利要求1～3任一项所述的基于音视频双模态的口语学习监测方法，其特征在于，所述步骤c)中对用户的语音进行切分后给出每个发音单元的起止时间，所述步骤d)根据每个发音单元的起止时间从同时采集的视频信息中提取该发音单元对应的图像动作特征信息。

5.如权利要求4所述的基于音视频双模态的口语学习监测方法，其特征在于，所述步骤d)根据每个发音单元的起止时间从同时采集的视频信息中提取N张图片，比较每一张图片与标准发音单元的图像特征信息匹配度后计算平均值，N为自然数。

6.如权利要求5所述的基于音视频双模态的口语学习监测方法，其特征在于，所述提取发音单元对应的图像动作特征信息包括如下过程：对每一张图片先将人脸定位出来，然后采用基于颜色梯度场的边缘提取算法检测嘴唇、舌头和牙齿的轮廓位置。