[发明专利]一种在视频中实时合成动画的方法和装置

说明书

技术领域

本发明涉及实时视频合成领域，特别是涉及一种在视频中实时合成动画的方法和装置。

背景技术

视频属于一种常见的媒体格式，例如，通过摄像机采集的现场直播的电视节目就可以得到实时的现场视频数据。在直播的过程中，为了提高直播效果或者为了增加艺术表现，可以在现场视频数据中通过数据合成的方式，在现场视频中合成出动画效果，是一种新兴的视觉传达形式，例如强化表现人物表情的动画、画外音的艺术文字以及一些背景动画效果等。

但是，目前应用在电视或网络视频播放中的动画合成主要还是依靠在视频后期处理的过程中完成，即非直播的情况下，在已经录制完成的视频数据中进行动画合成后，再将合成后的视频数据通过电视或网络播放。在直播的现场视频数据中，由于采集视频数据的摄像机的拍摄角度、摄像位置都无法预判，若想在直播中的现场视频里合成动画，由于无法预估视频画面的变化，为了保证合成效果不突兀，最多只能在视频中合成一些持续时间很短的、2D的动画或图片。

可见，目前在视频中的动画合成效果尤其是在直播的现场视频中实时合成动画的能力基本没有，无法有效的满足现有视觉传达的需求。

发明内容

为了解决上述技术问题，本发明提供了一种在视频中实时合成动画的方法和装置，实现了在视频中实时合成面部动画的功能，有效满足了现有的视频视觉传达需求。

本发明实施例公开了如下技术方案：

一种在视频中实时合成动画的方法，应用于实时采集的视频中，采集所述视频的固定区域中包括至少一台摄像机，所述视频被所述至少一台摄像机中的主摄像机所采集；服务器建立所述固定区域的3D坐标系统，所述服务器实时采集所述至少一台摄像机在所述3D坐标系统中的位置信息和所述主摄像头的视频采集参数；所述服务器使用渲染引擎根据所述固定区域和所述3D坐标系统建立虚拟区域，所述固定区域在所述3D坐标系统中的位置信息与所述虚拟区域在所述3D坐标系统中的位置信息具有比例关系；所述服务器使用所述渲染引擎在所述虚拟区域中设置虚拟摄像机，同步所述虚拟摄像机和所述主摄像机，使得所述虚拟摄像机的位置信息和视频采集参数实时保持与所述主摄像机的一致；所述方法包括：

所述服务器根据确定出的用于合成动画的目标区域在所述3D坐标系统获取所述目标区域的区域位置信息；

所述服务器获取通过面部捕捉设备实时采集到的面部数据和面部坐标，所述面部坐标和所述3D坐标系统具有对应关系；

所述服务器根据所述区域位置信息、面部数据和面部坐标在所述虚拟区域的所述目标区域中生成面部模型；

所述服务器获取所述主摄像机实时采集的所述视频的视频数据；所述服务器通过虚拟摄像机保持与所述主摄像机同步，获取所述面部模型在所述虚拟区域中根据所述面部数据形成的面部动画；

所述服务器将所述面部动画的动画数据从所述渲染引擎中提取出来，根据所述3D坐标系统在所述视频数据中实时合成所述面部动画的动画数据得到合成视频数据并同时实时的输出，以使得在播放所述合成视频数据时，展示的合成视频中对应所述目标区域的位置合成了所述面部动画。

可选的，在所述服务器将所述骨骼动画的动画数据从所述渲染引擎中提取出来之前，还包括：

所述服务器获取通过动作捕捉设备实时采集到的动作数据和动作坐标，所述动作坐标和所述3D坐标系统具有对应关系；

所述服务器根据所述区域位置信息、动作数据和动作坐标，在所述虚拟区域的所述目标区域中生成骨骼模型；

所述服务器通过虚拟摄像机保持与所述主摄像机同步，获取所述骨骼模型在所述虚拟区域中根据所述动作数据形成的骨骼动画；

所述服务器将所述面部动画的动画数据从所述渲染引擎中提取出来，还包括：

所述服务器将所述骨骼动画的动画数据和所述面部动画的动画数据从所述渲染引擎中提取出来，根据所述3D坐标系统在所述视频数据中实时合成所述骨骼动画的动画数据和所述面部动画的动画数据得到合成视频数据并同时实时的输出，以使得在播放所述合成视频数据时，展示的合成视频中对应所述目标区域的位置合成了所述骨骼动画和所述面部动画。

可选的，所述动作数据中包含若干个子动作数据，所述子动作数据具有各自的节点标识，所述节点标识用于表示被所述动作采集设备采集动作数据的动作采集目标的活动节点；所述服务器根据所述区域位置信息、动作数据和动作坐标，在所述虚拟区域的所述目标区域中生成骨骼模型，包括：

所述服务器确定所述节点标识所对应的所述骨骼模型上的骨骼节点；