[发明专利]一种沉浸式远程教学方法及系统

说明书

本发明公开了一种远程教学方法及系统，包括摄像头、处理器、VR模块以及图像处理合成模块，摄像头、VR模块与图像处理合成模块均与处理器连接，所述处理器通过5G模块无线连接远程服务器。本发明本发明通过采集教师或者学生的行为，分析其是否符合需要关注来对视频进行进一步的处理以实现对个别视频的强化以提高沉浸程度，符合人类实际的对周围课堂环境的关注规律。

技术领域

本发明涉及远程教学领域，具体涉及一种沉浸式远程教学方法及系统。

背景技术

由于远程教学在教学互动方面存在问题，虚拟现实技术在教学中的应用能够带来沉浸式的体验，同时也能在教学互动方面更贴近真实课堂，然而由于远程教学涉及到的音视频采集设备众多，多种设备采集到的音视频数据在VR设备上的处理方式不同，存在音视频数据不同步的问题；

现有技术中的音视频同步通常采用计算语音和视频数据在时间上的延迟进而调整音视频的时序来完成，那种调整方法仅仅适用于稳定传输的有规律的音视频传输，然而，由于网络延迟、设备卡顿等问题的客观存在，使得仅仅采用时间延迟的方式完成同步的效果并不好，而且，由于音视频时间延迟计算的误差的天然存在，在长时间累积后，累积的时间误差增大，进而会导致音视频数据的再次不同步。

发明内容

为解决背景技术中的问题，本发明提供一种沉浸式远程教学方法及系统，

其中一个技术方案为：一种远程教学方法，步骤如下：

S1、教师设置教学模式，所述教学模式包括讲授模式、讨论模式、提问模式；

S2、综合分析学生的行为数据，所述行为数据包括眼睛运动、头姿态、身体姿态、语音数据，判断是否触发关注信号；

S3、如果触发关注信号，将所述触发关注信号发送至远程服务器；

S4、所述远程服务器将触发关注信号的学生的合成视频信号进行重构强化并将其组合进虚拟场景数据中；

S5、所述远程服务器将虚拟场景数据发送至各个学生终端和/或教师终端中显示。

所述S1中的教学模式设置是在管理员模式下设置的，该模式下能够控制远程服务器中的学生数据是否发送以及如何发送，并具有全体静音或者个体禁言的功能；

所述讲授模式中教师终端中的音视频数据同步传输，并且在虚拟场景数据中教师音视频数据处于突出位置，教师终端能够控制学生终端的音视频数据是否采集以及禁言功能是否开启等，并且能够控制远程服务器始终对教师的视频信息进行强化。

所述讨论模式中学生终端和教师终端的音视频数据均同步采集；

所述提问模式中学生终端获取学生是否请求提问，而教师终端控制是否接受或者接受哪个学生的提问；

所述S2中的行为数据中的眼睛运动、头姿态由VR模块中的微型摄像头以及MEMS陀螺仪实现采集；

所述S2中的身体姿态、语音数据由用于拍摄学生或者教师身体图像数据的摄像头以及语音模块实现音视频数据采集的；

所述S2中的综合分析是指根据眼睛运动、头姿态、身体姿态以及语音数据中是否有一个或者多个数据是否异常以判断学生是否想参与讨论或者回答问题；

所述S4中的合成视频信号为步骤S2中的微型摄像头拍摄的眼部位附近视频信号和摄像头拍摄的脸部以及身体视频信号合成后的视频信号，合成步骤由与处理器连接的图像处理合成模块实现，所述图像处理合成模块还用于将上述合成后的视频信号统一压缩成相同分辨率处理，然后将压缩处理后的合成视频信号通过处理器发送至远程服务器进行处理；

所述S4中的远程服务器用于将未经强化的其他学生终端中的视频与强化视频数据组合在一起转化为虚拟场景数据；

所述S4中的视频强化实质保留原始视频分辨率的基础上，将脸部特征进一步的重构强化；所述重构强化包括对比度、饱和度、亮度、视频扩大、颜艺化或者微距化等处理方式。