[发明专利]一种基于多端实时绿幕合成的同步授课技术及应用

权利要求书

1.一种基于多端实时绿幕合成的同步授课技术，其特征在于：包括：老师端和学生端，所述老师端与学生端之间构建分发多媒体教材操作事件的同步服务器，并使用websocket通信协议与老师端和学生端之间建立连接用于转发教材事件，所述老师端和学生端之间构建webrtc服务用于传输老师和学生的音视频流，所述老师端构建可同步的多媒体教材，该教材可将所有的老师操作编码成事件，并对外发送事件，同时可根据这些事件进行回放，所述老师端和学生端均构建绿幕合成软件和音视频软件。

2.根据权利要求1所述的一种基于多端实时绿幕合成的同步授课技术，其特征在于：所述老师端需构建老师端教学环境，所述老师端教学环境包括个人终端、绿幕背景和光源组件，以保证良好的绿幕合成效果。

3.根据权利要求2所述的一种基于多端实时绿幕合成的同步授课技术，其特征在于：所述webrtc服务可以自建或采用第三方的webrtc服务。

4.根据权利要求3所述的一种基于多端实时绿幕合成的同步授课技术，其特征在于：所述绿幕合成软件用于合成老师视频流和多媒体教材。

5.根据权利要求3所述的一种基于多端实时绿幕合成的同步授课技术，其特征在于：所述音视频软件用于播放绿幕技术合成老师音视频流和多媒体教材内容。

6.根据权利要求1所述的一种基于多端实时绿幕合成的同步授课技术的应用，其特征在于：所述授课技术的应用包括如下步骤：

步骤1：老师端：独立发布老师视频流；在老师端，直接获取老师摄像头视频流，并直接以高分辨率和高帧率发布该视频流，保证老师画面的清晰和流畅；

步骤2：老师端：展现教材内容，并发送教材操作事件；由于需要降低对老师电脑性能的要求，因此不再采用屏幕分享的方式来发送教材内容。这里我们将制作一种可以通过事件进行回放的多媒体教材，并将老师的操作事件实时同步到学生端，学生端将根据这些事件同步回放教材，以次完成多媒体教材的多端同步；

步骤3：老师端：本地合成老师视频流和多媒体教材；为了提供更加沉浸式的教学体验，需要将老师视频叠加在多媒体教材之上，这是通过绿幕合成技术来实现的。老师端和学生端都需要独立完成这一步骤。这里，在老师端的电脑上，通过绿幕合成老师视频流以及多媒体教材，直接展现给老师合成后的最终画面。

步骤4：老师端和学生端的数据传递；老师端和学生端之间有两种类型的数据需要进行传递，一种是音视频流，用于传递老师和学生的画面，这是通过webrtc技术实现的。另一种数据流是多媒体教材的操作事件，以及其他额外的控制流数据。我们实现了一套基于websocket的事件分发服务，用于在老师和学生之间传递事件类数据；

步骤5：学生端：接收老师视频流；学生端本地通过webrtc接收老师视频流，完成音视频解码；

步骤6：学生端：根据教材操作事件回放教材内容；学生端接收到老师端发送来的多媒体教材的操作事件，并根据这些事件回放教学内容。所以，在整个过程中，学生可以实时观看到完整的多媒体教材内容以及老师的操作；

步骤7：学生端：本地合成老师视频流和多媒体教材；为了提供给学生沉浸式的教学体验，学生需要看到老师叠加在教材内容之上，因此需要在学生端本地的电脑上，使用绿幕技术合成老师视频流和多媒体教材内容。