[发明专利]基于化身的视频编码

说明书

背景技术

移动通信涉及多个不小难题，以及移动视频共享和基于视频的通信面临具体复杂情况。

附图说明

图1示出按照本公开的一实施例所配置的装置。

图2示出按照本公开的一实施例所配置的示例脸部检测模块。

图3A-3E示出按照本公开的一实施例的化身动画的示例脸部控制参数和生成。

图4示出按照本公开的一实施例所配置的示例化身控制模块和化身选择模块。

图5示出按照本公开的一实施例的基于化身的视频编码的过程。

图6示出按照本公开的一实施例、使用化身来重构视频的示例过程。

图7示出按照本公开的一实施例、用于提取所检测脸部表情并且通过对其映射脸部表情来动画制作（animate）所选化身的示例过程。

图8示出按照本公开的一实施例、附有多个运动捕获标记的人脸。

图9A-9C示出按照本公开的一实施例的各种示例化身表情的若干示例屏幕截图图像。

图10是示出按照本公开的一实施例、服务器上的示例视频渲染流程的框图。

图11示出按照一些实施例、可执行如本文所述用于基于化身的视频编码的技术的示例系统。

图12示出可实施图11的系统的小形状因数装置的实施例。

具体实施方式

公开用于执行基于化身的视频编码的技术。在一些实施例中，个人的视频记录可利用化身(其通过个人的(一个或多个)脸部表情来驱动)来编码。在一些这类情况下，所产生化身动画可准确地模仿所记录个人的(一个或多个)脸部表情。一些实施例能够用于例如经由社交媒体和连网网站的视频共享中。一些实施例能够用于例如基于视频的通信(例如，对等视频呼叫、电视会议)中。在一些情况下，例如，所公开技术的使用可帮助降低通信带宽使用、保存个人的匿名性和/或为个人提供增强娱乐价值(例如兴趣)。根据本公开，许多配置和变更将会是显而易见的。

一般概述

随着移动装置和社交网络的流行持续增长，越来越多数量的用户设法经由其移动装置来记录并且与他人共享视频，以及经由作为典型电话呼叫和基于文本的消息的替代的视频进行通信。例如，用户可期望使用其移动装置发起视频呼叫和电视会议，以向一个或多个远程接收方传送音频和实时视频。但是，如先前所述，出现使参与包含视频数据的移动通信的能力复杂化的多个不小问题。例如，大量视频数据的传输消耗例如第三代和第四代(3G和4G)数据网络的大量网络带宽，并且对现有无线通信基础设施施加大负担，这能够不利地影响传输质量。在实时视频传输的情况下尤其是这样。另一个不小问题涉及如下事实：极少的现有化身视频应用(例如WeChat移动电话文本和语音消息传递通信服务、StarGreetz?个性化视频平面和Tom的Messenger消息传递应用)不允许化身模仿用户的(一个或多个)脸部表情。由这些应用所提供的视频中的化身而是通过用户的语音来驱动。其他现有应用(例如MojoMasks)只在即时视频之上覆盖掩码，并且使用商用视频编解码器来压缩具有掩码的即时视频。

因此并且按照本公开的一实施例，公开用于提供视频数据的基于化身的编码的技术。在一个示例情况中，技术在一种系统中实现，该系统配置成记录用户脸部的视频，并且随后将那个原始视频记录重构为利用选择为表示用户的化身的基于化身的动画。在初始视频记录期间，检测用户的脸部特性，并且跟踪其中例如产生于用户脸部表情的改变、用户头部的移动等的变化。此后，那些变化逐帧地映射到所选化身，以及化身帧的所产生集合能够采用原始音频(若有的话)来编码。所产生的新视频是视频动画，其准确地模仿或者模拟由用户在原始视频记录期间所记录的脸部表情和头部移动。在一些情况下，在所产生的视频中使用实际脸部和化身视频帧的混合。在其他情况下，仅使用化身视频帧。在任何这类情况下，原始音频(若有的话)能够采用化身图像来编码，以提供新的较低带宽视频。

如本文所使用的术语‘化身’一般表示二维(2-D)或三维(3-D)的用户的图形表示。在一些情况下，给定化身可与其用户的外貌相似，但这不是必要的，因为在一些其他情况下，可观察用户与化身之间的更大或更小差异。因此，虽然化身能够是逼真表示，但是它们也能够采取绘图、卡通、草图等的形式，其不一定与用户的实际外貌相似。