[发明专利]基于化身的视频编码

权利要求书

1.一种编码有指令的计算机可读介质，所述指令在由一个或多个处理器运行时使用于基于化身的视频编码的过程被执行，所述过程包括：

记录用户的视频；以及

使用基于视频记录期间所检测的所述用户的一个或多个脸部表情的化身将所述所记录视频重构为基于化身的视频。

2.如权利要求1所述的计算机可读介质，其中，将所述所记录视频重构为所述基于化身的视频包括：

将所述所记录视频分解为包括多个视频帧的视频帧流；

对于所述视频帧流的各视频帧，提取所述用户的(一个或多个)所检测脸部表情，并且将其映射到所述化身以动画制作所述化身；

对于所述视频帧流的各视频帧，呈现非屏幕帧缓冲器中的所述所产生动画化身，并且提取其屏幕截图图像；以及

对所述所提取的(一个或多个)化身屏幕截图图像进行编码，以提供所述基于化身的视频。

3.如权利要求2所述的计算机可读介质，其中，提取所述用户的(一个或多个)所检测脸部表情并且将其映射到所述化身以动画制作所述化身包括：

识别所述用户的脸部特征点，并且跟踪其移动；

从所述脸部特征点的移动来确定(一个或多个)脸部表情；

检索与(一个或多个)所述脸部表情相似的(一个或多个)表情序列；以及

通过对其映射(一个或多个)所述所检索表情序列来动画制作所述化身。

4.如权利要求2所述的计算机可读介质，其中，呈现非屏幕帧缓冲器中的所述所产生动画化身使用OpenGL应用编程接口或者嵌入式系统的OpenGL(OpenGLES)应用编程接口来执行。

5.如权利要求2所述的计算机可读介质，其中，提取屏幕截图图像使用glReadPixels来执行。

6.如权利要求2所述的计算机可读介质，其中，对(一个或多个)所述所提取的化身屏幕截图图像进行编码使用视频编码器来执行。

7.如权利要求2所述的计算机可读介质，其中，所述分解还包括将所述所记录视频分解为音频流，以及所述编码还包括将(一个或多个)所述所提取的化身屏幕截图图像与所述音频流相组合，以提供所述基于化身的视频。

8.如权利要求1所述的计算机可读介质，其中，在将所述所记录视频重构为所述基于化身的视频之前，所述过程还包括：

接收对表示所述用户的所述化身的选择。

9.如权利要求1所述的计算机可读介质，其中，在记录所述用户的所述视频期间，所述过程还包括：

从所述视频中提取捕获所述用户的正面图像的视频帧；以及

从所述用户的所述正面图像来生成所述化身。

10.如权利要求9所述的计算机可读介质，其中，在从所述用户的所述正面图像来生成化身之后但在将所述所记录视频重构为所述基于化身的视频之前，所述过程还包括：

接收从所述所提取视频帧所生成的表示所述用户的所述化身的选择。

11.如权利要求1-10中的任一项所述的计算机可读介质，其中，记录所述用户的所述视频包括基于用户输入或者触发记录的常通视频传感器来激活视频记录应用。

12.如权利要求1-10中的任一项所述的计算机可读介质，其中，所述基于化身的视频具有比所述所记录视频要小大约20-70%的文件大小。

13.如权利要求1-10中的任一项所述的计算机可读介质，其中，所述基于化身的视频采取MP4文件格式。

14.如权利要求1-10中的任一项所述的计算机可读介质，其中，所述基于化身的视频提供有静态图像背景。

15.一种系统，包括：

视频装置，配置成记录视频；

成像和音频框架模块，配置成接收和解释来自所述视频装置的视频输入；

脸部检测模块，在操作上与所述成像和音频框架模块耦合，并配置成检测所述视频输入中的脸部，并且跟踪所述所检测脸部的脸部特性的变化；

化身数据库，其中存储了一个或多个化身；以及

化身控制模块，配置成使用如所述脸部检测模块所跟踪的所述所检测脸部的脸部特性的变化来动画制作所选化身。