[发明专利]一种在视频中实时合成动画的方法和装置

权利要求书

1.一种在视频中实时合成动画的方法，其特征在于，应用于实时采集的 视频中，采集所述视频的固定区域中包括至少一台摄像机，所述视频被所述 至少一台摄像机中的主摄像机所采集；服务器建立所述固定区域的3D坐标系 统，所述服务器实时采集所述至少一台摄像机在所述3D坐标系统中的位置信 息和所述主摄像头的视频采集参数；所述服务器使用渲染引擎根据所述固定 区域和所述3D坐标系统建立虚拟区域，所述固定区域在所述3D坐标系统中 的位置信息与所述虚拟区域在所述3D坐标系统中的位置信息具有比例关系； 所述服务器使用所述渲染引擎在所述虚拟区域中设置虚拟摄像机，同步所述 虚拟摄像机和所述主摄像机，使得所述虚拟摄像机的位置信息和视频采集参 数实时保持与所述主摄像机的一致；所述方法包括：

所述服务器根据确定出的用于合成动画的目标区域在所述3D坐标系统 获取所述目标区域的区域位置信息；

所述服务器获取通过动作捕捉设备实时采集到的动作数据和动作坐标， 所述动作坐标和所述3D坐标系统具有对应关系；

所述服务器根据所述区域位置信息、动作数据和动作坐标，在所述虚拟 区域的所述目标区域中生成骨骼模型；

所述服务器获取所述主摄像机实时采集的所述视频的视频数据；所述服 务器通过虚拟摄像机保持与所述主摄像机同步，获取所述骨骼模型在所述虚 拟区域中根据所述动作数据形成的骨骼动画；

所述服务器将所述骨骼动画的动画数据从所述渲染引擎中提取出来，根 据所述3D坐标系统在所述视频数据中实时合成所述骨骼动画的动画数据得 到合成视频数据并同时实时的输出，以使得在播放所述合成视频数据时，展 示的合成视频中对应所述目标区域的位置合成了所述骨骼动画。

2.根据权利要求1所述的方法，其特征在于，在所述服务器将所述骨骼 动画的动画数据从所述渲染引擎中提取出来之前，还包括：

所述服务器获取通过面部捕捉设备实时采集到的面部数据和面部坐标， 所述面部坐标和所述3D坐标系统具有对应关系；

所述服务器根据所述区域位置信息、面部数据和面部坐标在所述虚拟区 域的所述目标区域中生成具有面部模型；

所述服务器通过虚拟摄像机保持与所述主摄像机同步，获取所述面部模 型在所述虚拟区域中根据所述面部数据形成的面部动画；

所述服务器将所述骨骼动画的动画数据从所述渲染引擎中提取出来，还 包括：

所述服务器将所述骨骼动画的动画数据和所述面部动画的动画数据从所 述渲染引擎中提取出来，根据所述3D坐标系统在所述视频数据中实时合成所 述骨骼动画的动画数据和所述面部动画的动画数据得到合成视频数据并同时 实时的输出，以使得在播放所述合成视频数据时，展示的合成视频中对应所 述目标区域的位置合成了所述骨骼动画和所述面部动画。

3.根据权利要求1所述的方法，其特征在于，所述动作数据中包含若干 个子动作数据，所述子动作数据具有各自的节点标识，所述节点标识用于表 示被所述动作采集设备采集动作数据的动作采集目标的活动节点；所述服务 器根据所述区域位置信息、动作数据和动作坐标，在所述虚拟区域的所述目 标区域中生成骨骼模型，包括：

所述服务器确定所述节点标识所对应的所述骨骼模型上的骨骼节点；

所述服务器依据所述子动作数据和相应的动作坐标，确定所述骨骼节点 在所述骨骼模型中的位置；

所述服务器根据确定出的所述骨骼节点在所述骨骼模型中的位置，在所 述虚拟区域的所述目标区域中生成所述骨骼模型。

4.根据权利要求1或2所述的方法，其特征在于，所述服务器建立所述 固定区域的3D坐标系统，所述服务器实时采集所述至少一台摄像机在所述 3D坐标系统中的位置信息和所述主摄像头的视频采集参数，包括：

所述服务器通过所述固定区域中设置的多个采集设备建立所述固定区域 的3D坐标系统，所述服务器根据所述多个采集设备和分别在所述至少一台摄 像机上设置的反射器实时采集所述至少一台摄像机在所述3D坐标系统中的 位置信息和所述主摄像头的视频采集参数。