[发明专利]将虚拟图像和3D模型与现实场景同步视频显示的系统

说明书

本发明提供将虚拟图像和3D模型与现实场景同步视频显示的系统，所述系统包括用于存储虚拟图像和3D模型数据的服务器；用于录制或直播现实场景视频的录制系统；用于控制操作将虚拟图像和3D模型与现实场景合成并同步同屏录制或直播的控制系统；用于展示所录制或直播的现实场景与虚拟图像和3D模型同步同屏显示的展示系统；所述服务器、所述录制系统、所述存储系统和所述展示系统通过所述控制系统通信连接。用手机端或电脑端上传素材；用手机、平板等移动终端的摄像头获取实时的现实场景，通过网络接口获取用户上传的素材，在移动终端加载素材，并与摄像头获取的现实场景结合到一起实现AR效果、MR效果；与麦克风的声音进行混合显示，录制、直播。

本申请要求申请号为202120172573.8的《将虚拟图像和3D模型与现实场景同步视频显示的系统》专利申请的优先权，其内容通过引用结合在本申请中。

技术领域

本发明涉及视频图像技术领域，特别涉及将虚拟图像和3D模型与现实场景同步视频显示的系统。

背景技术

随着互联网技术，以及视频技术的发展，越来越多的在线培训、在线教育、直播教育等都在使用老师网上视频授课的形式。但传统的视频授课由于技术限制，如果想要实现：将老师授课的内容(PPT、图片、动画、3D模型等)与老师所处显示环境进行同屏呈现，必须要依赖绿布抠像技术、配合录播硬件设备，或者配合后期繁琐的手工视频编辑才能够实现。传统的录制也仅仅是只对单个的素材进行录制，无法实现在现实场景下同屏进行多个文字、图片、动画等虚拟图像和3D模型的可切换的同步持续录制，且难以支持通过蓝牙鼠标等外设在远距离范围进行操控。并且现有技术中的系统操作复杂、成本高昂，可复制性差。

现有技术中常用的技术术语包括：

AR效果:增强现实(Augmented Reality)技术是将虚拟信息与真实世界融合的技术，将计算机生成的文字、图像、三维模型等虚拟信息应用到真实世界中，从而实现对真实世界的“增强”。

MR效果：混合现实(Mixed Reality)是虚拟现实技术的进一步发展，该技术通过在虚拟环境中引入现实场景信息，在虚拟世界、现实世界和用户之间搭起一个交互反馈的信息回路，以增强用户体验的真实感。

发明内容

为了解决上述技术问题，本发明的目的在于：

1.支持并实现了用户通过蓝牙鼠标、蓝牙云台的外接设备与智能手机、服务器等系统通信进行应用控制，方便用户通过手机终端等控制系统实现远距离操作。

2.支持并实现了用户可通过蓝牙鼠标、蓝牙云台的外接设备进行应用控制，方便用户进行录制时通过手机、鼠标等控制系统实现切换素材、上下翻页等操作。

3.支持并实现了用户通过蓝牙耳机、外界音频设备进行声音采集。

具体地，本发明提供将虚拟图像和3D模型与现实场景同步视频显示的系统，所述系统包括用于存储虚拟图像和3D模型数据的服务器；用于录制或直播现实场景视频的录制系统；用于控制操作将虚拟图像和3D模型与现实场景合成并同步同屏录制或直播的控制系统；用于展示所录制或直播的现实场景与虚拟图像和3D模型同步同屏显示的展示系统；所述服务器、所述录制系统、所述存储系统和所述展示系统通过所述控制系统通信连接。

所述录制系统包括用于收集外部图像视频的视频采集设备和用于收集外部声音的音频采集设备。

所述的视频采集设备为摄像头；所述音频设备为麦克风、蓝牙耳机。

所述控制系统包括用于合成虚拟图像和3D模型数据与视频图像和音频数据的合成系统，以及用于处理选择、添加、控制操作的处理器。

所述合成系统位于微处理器内，也可以位于所述处理器。