[发明专利]一种基于音调的级联序列到序列模型的中文唇语识别方法

摘要

一种基于音调的级联序列到序列模型的中文唇语识别方法，包含如下步骤：1)准备实验数据；2)建立拼音序列预测子模型；3)训练拼音序列预测子模型；4)建立音调序列预测子模型；5)训练音调序列预测子模型；6)建立汉字序列预测子模型；7)训练汉字序列预测子模型；8)建立唇语识别模型；9)训练唇语识别模型；10)获得中文唇语识别结果。本发明针对中文语言特点，将音调信息引入到中文唇语识别问题中，提出了一种基于音调的级联序列到序列模型的中文唇语识别方法。通过依次预测拼音序列、音调序列和汉字序列挖掘汉字语言特征，并将多个阶段的预测结果融合起来共同预测汉字序列，从而提高唇语识别准确率。