[发明专利]联合音频视频面部动画系统

权利要求书

1.一种方法，包括：

在客户端设备处接收音频数据和视频数据；

基于所述视频数据确定面部界标集合的位置；

基于所述面部界标集合的位置生成第一面部模型；

基于所述音频数据生成第二面部模型；

基于所述第一面部模型和所述第二面部模型构建复合面部模型；以及

导致在所述客户端设备处显示所述复合面部模型。

2.根据权利要求1所述的方法，其中，在所述客户端设备处接收音频数据和视频数据还包括：

在所述客户端设备处接收视频，其中，所述视频包括所述音频数据和所述视频数据；以及

从所述视频中提取所述音频数据和所述视频数据。

3.如权利要求1所述的方法，其特征在于，所述客户端设备是第一客户端设备，并且导致显示所述复合面部模型包括：

生成包含所述复合面部模型的消息；以及

导致在第二客户端设备处显示消息的呈现，所述消息的呈现包括所述复合面部模型。

4.根据权利要求1所述的方法，其中，所述音频数据包括语音信号，并且基于所述音频数据生成所述第二面部模型还包括：

确定所述语音信号的音素序列；以及

基于所述音素序列生成所述第二面部模型。

5.根据权利要求1所述的方法，其中，所述方法还包括：

基于来自所述视频数据的面部界标集合的位置来识别用户；

从所述用户的用户简档中检索显示规范；以及

其中，基于所述第一面部模型、所述第二面部模型和所述显示规范构建所述复合面部模型。

6.根据权利要求1所述的方法，其中，基于所述第一面部模型和所述第二面部模型构建所述复合面部模型是实时发生的。

7.根据权利要求1所述的方法，其中，所述位置是第一位置集合，所述视频数据包括视频帧集合，并且所述方法还包括：

检测实时数据中的丢失；

响应于检测到所述实时数据中的丢失，解析所述视频数据以从所述视频帧集合中识别第一帧；

确定在所述视频数据的第一帧内所述面部界标集合的第二位置集合；以及

基于所述面部界标集合的第二位置集合来改变所述复合面部模型。

8.一种系统，包括：

存储器；以及

至少一个硬件处理器，其耦合到所述存储器并包括使所述系统执行操作的指令，所述操作包括：

在客户端设备处接收音频数据和视频数据；

基于所述视频数据确定面部界标集合的位置；

基于所述面部界标集合的位置生成第一面部模型；

基于所述音频数据生成第二面部模型；

基于所述第一面部模型和所述第二面部模型构建复合面部模型；以及

导致在所述客户端设备处显示所述复合面部模型。

9.根据权利要求8所述的系统，其中，在所述客户端设备处接收所述音频数据和所述视频数据，还包括：

在所述客户端设备处接收视频，其中，所述视频包括所述音频数据和所述视频数据；以及

从所述视频中提取所述音频数据和所述视频数据。

10.根据权利要求8所述的系统，其中，所述客户端设备是第一客户端设备，并且导致显示所述合成面部模型包括：

生成包含所述复合面部模型的消息；以及

导致在第二客户端设备处显示所述消息的呈现，所述消息的呈现包含所述复合面部模型。

11.根据权利要求8所述的系统，其中，所述音频数据包括语音信号，并且基于所述音频数据生成所述第二面部模型还包括：

确定所述语音信号的音素序列；以及

基于所述音素序列生成所述第二面部模型。