[发明专利]用于视听内容合成的系统和方法

摘要

提供了一种用于在视频图像处理器中合成视听内容的系统和方法。内容合成应用处理器从表示正在讲话的讲话者的视听输入信号中提取音频特征和视频特征。处理器使用所提取的视觉特征来创建讲话者脸部的计算机产生的动画模型。然后处理器使讲话者脸部的动画模型的面部运动与用于表示讲话者谈话的多个音频逻辑单元(诸如音素)同步。依照这种方式处理器合成讲话者脸部的视听表示，其与讲话者谈话准确地同步。

主权项

1.一种数字传输系统中的设备，能够接收表示正在讲话的讲话者的视听输入信号并且能够使用表示讲话者谈话的多个音频逻辑单元来创建讲话者脸部的动画模型，所述设备包括内容合成应用处理器，所述内容合成应用处理器进行以下操作：从所述视听输入信号中提取所述讲话者谈话的音频特征以及所述讲话者脸部的视觉特征；根据所述音频特征和视觉特征来创建视听输入向量；根据所述视听输入向量来创建视听配置；并且对视听输入向量执行语义关联过程，以便获得在表示所述讲话者谈话的音素和表示所述讲话者脸部的视位之间的关联。