[发明专利]融合声学特征和发音运动特征的发音评估方法和系统

权利要求书

1.一种融合声学特征和发音运动特征的发音评估方法，其特征在于，包括以下步骤：

(10)采集音频数据和发音运动数据，并对所述音频数据提取声学特征，对所述发音运动数据提取发音运动特征，其中，所述音频数据和所述发音运动数据在时间上相对应；

(20)根据时间对应关系将所述声学特征和所述发音运动特征进行特征融合的处理，得到融合特征；

(30)根据所述融合特征进行训练得到融合特征可懂度判别模型；

(40)利用所述融合特征可懂度判别模型得到特征融合评估结果。

2.根据权利要求1所述的一种融合声学特征和发音运动特征的发音评估方法，其特征在于：还进一步根据所述声学特征和所述发音运动特征进行分别训练得到声学特征可懂度判别模型和发音运动特征可懂度判别模型，并将所述声学特征可懂度判别模型的评估结果和所述发音运动特征可懂度判别模型的评估结果进行策略融合的处理，得到策略融合评估结果。

3.根据权利要求1或2所述的一种融合声学特征和发音运动特征的发音评估方法，其特征在于：所述的步骤(10)中进行采集音频数据和发音运动数据，是利用电磁式发音动作描迹系统进行采集所述音频数据和发音运动数据，通过在发音器官放置空间传感器，并计算所述空间传感器在磁场中的三维空间坐标和角度，得到所述发音运动数据，并在采集所述发音运动数据的同时进行采集时间上相对应的所述音频数据；其中，所述发音器官包括嘴唇，所述发音运动数据包括嘴唇运动数据。

4.根据权利要求3所述的一种融合声学特征和发音运动特征的发音评估方法，其特征在于：还进一步在鼻梁放置空间传感器，所述的步骤(10)中对所述发音运动数据提取发音运动特征，是采用以所述鼻梁的空间传感器作为坐标原点，计算嘴唇上的空间传感器距离所述坐标原点的相对距离；以嘴唇上四个空间传感器的三维坐标距离x，y，z作为运动特征，每一个采样点作为一帧，对每帧数据按如下公式提取发音运动特征：

lip＝[x₁...x₄,y₁...y₄,z₁...z₄]^T；

其中x，y，z的下标分别代表上嘴唇运动数据、下嘴唇运动数据、左嘴角运动数据、右嘴角运动数据。

5.根据权利要求1或2所述的一种融合声学特征和发音运动特征的发音评估方法，其特征在于：所述的步骤(20)中进行特征融合的处理，是根据所述音频数据和所述发音运动数据的采样率进行设置所述声学特征和所述发音运动特征的窗长，根据所述窗长进行设置窗移，并以所述窗移对所述声学特征和所述发音运动特征进行特征融合。