[发明专利]虚拟形象的虚拟演播系统及方法

说明书

本申请实施例提供了一种虚拟形象的虚拟演播系统及方法，通过实时采集现包含有第一现实形象的现实演播影像数据以及现场音频数据，以及实时采集第二现实形象的动作数据，且以所述动作数据实时驱动所述虚拟模型而生成虚拟形象动画数据，并通过合成所述虚拟形象动画数据与所述现实演播影像数据，以将虚拟形象植入到所述现实演播现场中，并通过同步整合所述现场音频数据，从而生成所述虚拟形象与所述第一现实形象在所述现实演播现场中实时互动的虚拟演播影音数据。

技术领域

本申请实施例涉及直播视频制作技术，尤其涉及虚拟形象的虚拟演播系统及方法。

背景技术

随着计算机技术与虚拟现实技术的不断发展，实现了虚拟形象与现实形象之间的互动的演播技术。

然而，目前此项技术大都应用于影视制作中，也就是说，虚拟演播的影音资料是提前制作完成，因此，当前的制作技术并无法适用于实时广播电视在线演播或实时网络在线演播等应用情境。有鉴于此，如何实现虚拟形象与现实形象在同一场景空间内互动的直播视频的制作，即为本申请待解决的技术课题。

发明内容

有鉴于此，本发明实施例的主要目的在于提供一种虚拟形象的虚拟演播系统及方法，实现了虚拟形象与现实形象在同一场景空间内互动的直播视频的制作，以适用于实时广播电视在线演播或实时网络在线演播的应用情境。

本申请实施例提供了一种虚拟形象的虚拟演播系统，其特征在于，包括：现场影像采集模块，用于实时采集现实演播现场的影像画面以生成现实演播影像数据，所述现实演播影像数据包括在所述现实演播现场中表演的第一现实形象；虚拟形象生成模块，用于导入虚拟形象的虚拟模型，并实时采集第二现实形象的动作轨迹以生成动作数据，并利用所述动作数据实时驱动所述虚拟模型执行动作，从而实时生成所述虚拟形象的虚拟形象动画数据；虚拟形象植入模块，用于实时合成所述虚拟形象动画数据与所述现实演播影像数据，以将所述虚拟形象植入到所述现实演播现场中，从而实时生成虚拟演播影像数据；现场音频采集模块，用于实时采集所述现实演播现场的演播声音，以生成现场音频数据，所述现场音频数据至少包括所述第一现实形象的第一音频数据与所述第二现实形象的第二音频数据；以及影音同步整合模块，用于将所述现场音频数据与所述虚拟演播影像数据进行同步整合，从而实时生成所述虚拟形象与所述第一现实形象在所述现实演播现场中实时互动的虚拟演播影音数据。

可选地，在本申请的任一实施例中，所述虚拟形象植入模块还包括依据所述现实演播影像数据，分析所述现场影像采集模块的相机追踪参数，并基于所述相机追踪参数将所述虚拟形象动画数据导入所述现实演播影像数据中。

可选地，在本申请的任一实施例中，所述虚拟形象植入模块还包括于所述现实演播现场的影像画面中设定虚拟形象初始坐标参数，以定义所述虚拟形象植入所述现实演播现场的影像画面中的初始位置。

可选地，在本申请的任一实施例中，所述虚拟形象植入模块还包括以所述虚拟形象初始坐标参数为原点而定义所述虚拟形象在所述现实演播现场的影像画面中的移动范围。

可选地，在本申请的任一实施例中，其特征在于，所述现实演播影像数据还包括显示所述现实演播现场中的现实背景场景的现实背景场景影像数据，且所述虚拟形象植入模块还包括：虚拟背景场景建立单元，其通过分析所述现实背景场景影像数据所显示的所述现实背景场景，以建立虚拟背景场景的虚拟场景模型，并生成虚拟背景场景影像数据；以及第一合成单元，用于合成所述虚拟形象动画数据与所述虚拟背景场景影像数据，以生成所述虚拟形象在所述虚拟背景场景中表演的虚拟合成动画数据。

可选地，在本申请的任一实施例中，所述虚拟形象植入模块还包括第二合成单元，其用于将所述虚拟合成动画数据与所述现实演播影像数据进行合成，以使所述虚拟背景场景与所述现实背景场景相互重叠，从而生成所述虚拟形象与所述第一现实形象在所述演播现场中互动表演的虚拟演播影像画面。