[发明专利]一种5G网络环境下虚拟同步课堂教学系统及其工作方法

权利要求书

1.一种5G网络环境下虚拟同步课堂教学系统，其特征在于：包括虚拟同步课堂生成模块、虚拟同步课堂教学模块、虚拟同步课堂教学互动模块；

所述虚拟同步课堂生成模块，设计并构建面向中小学虚拟教学的元件库和组件库，生成粒度不同的虚拟教学套件；支持教师通过虚拟教室可视化设计工具，在主视图区域拖动元件、组件图标，通过元件之间的组件连接和参数设置可确定虚拟课堂的内容和执行次序；采用XML语言描述虚拟课堂设计结果，使用树结构记录可嵌套的父子元素，映射功能函数的参数端口，实现基于场景树的虚拟课堂的共享和互操作；

所述虚拟同步课堂教学模块，采用C/S架构模式，在服务端应用RPC框架，采用总、分结构架设同步课堂服务器，利用Protobuf协议实现云—端、端—端之间数据包的传输，使用基于时间戳的一致性排序策略同步虚拟课堂的教学活动；支持教师执行虚拟课堂脚本，在本地生成虚拟教室，师生以虚拟化身进入虚拟课堂，在各客户端之间实现数据、消息、状态信息同步，应用云锚点技术保持各客户端画面、视场和显示焦点的一致；支持教师创设、切换虚拟课堂，分组开展教学活动，使用并发锁与冲突避免机制处理多用户并发操作；

所述虚拟同步课堂教学互动模块，支持师生、生生之间通过文字、语音、视频形式，基于直联、广播机制开展多对多、一对多、一对一教学；通过在虚拟教室中设置电子屏幕，将同步控制器屏幕内容同步显示到电子屏幕上，支持正面观看虚拟化身头部上方的文字或照片信息；使用云增量技术在云—端、端—端同步更新交互操作结果，运用画笔渲染算法在同步控制器屏幕上绘制教学过程内容，支持师生查看虚拟课堂中的模型、资源以及化身的信息。

2.根据权利要求1所述的5G网络环境下虚拟同步课堂教学系统，其特征在于：所述虚拟同步课堂生成模块，包括虚拟教学套件生成子模块、虚拟课堂可视化设计子模块、共享和互操作子模块；

所述虚拟教学套件生成子模块针对中小学虚拟教学的需求，设计并构建元件库和组件库，生成粒度不同的虚拟教学套件；

所述虚拟课堂可视化设计子模块，创建一个虚拟教室可视化设计工具，支持教师在主视图区域拖动元件、组件图标，设计虚拟课堂中的元素，元件之间的组件连接和参数设置可确定虚拟课堂的内容和执行次序；

所述共享与互操作子模块，采用XML语言描述虚拟课堂设计结果，使用树结构记录可嵌套的父子元素，映射复杂的逻辑关系，实现基于场景树的虚拟课堂的共享和互操作。

3.根据权利要求1所述的5G网络环境下虚拟同步课堂教学系统，其特征在于：所述虚拟同步课堂教学模块，包括服务端、客户端和管理子模块；

所述服务端应用RPC框架，采用总、分结构架设同步课堂服务器，利用Protobuf协议实现云—端、端—端之间数据包的传输，使用基于时间戳的一致性排序策略同步虚拟课堂的教学活动；

所述客户端支持教师执行虚拟课堂脚本，在本地生成虚拟教室，师生以虚拟化身进入虚拟课堂，在各客户端之间实现数据、消息、状态信息同步，应用云锚点技术保持各客户端画面、视场和显示焦点的一致；所述管理子模块支持教师创设、切换虚拟课堂，分组开展教学活动，使用并发锁与冲突避免机制处理多用户并发操作。

4.根据权利要求1所述的5G网络环境下虚拟同步课堂教学系统，其特征在于：所述虚拟同步课堂教学互动模块，包括教学互动子模块、内容显示子模块和信息浏览子模块；

所述教学互动子模块支持师生、生生之间通过文字、语音、视频形式，基于直联、广播机制开展多对多、一对多、一对一教学；

所述内容显示子模块利用虚拟教室前端的电子屏幕元件，将同步控制器屏幕内容同步显示到电子屏幕上，支持正面观看虚拟化身头部上方的文字或照片信息；

所述信息浏览子模块使用云增量技术在云—端、端—端同步更新交互操作结果，运用画笔渲染算法在同步控制器屏幕上绘制教学过程内容，支持师生查看虚拟课堂中的模型、资源以及化身的信息。

5.一种如权利要求1所述的5G网络环境下虚拟同步课堂教学系统的工作方法，其特征在于该方法包括以下步骤：

(1)虚拟同步课堂生成

(1-1)虚拟教学套件生成子模块分析中小学虚拟教学的需求，设计并构建包含众多类别的元件库；提取相同的功能、算法和函数，封装成虚拟组件库；设计虚拟教学场景的组合规则，检验元件之间可组装性、组装次序和几何配准，生成粒度不同的虚拟教学套件；

(1-1-1)元件库构建；根据基础教育新课标，分析中学物理、化学、生物、地理和小学科学的知识点，整理虚拟教学涉及的元素，按元素属性分成师生化身、场景模型、材质纹理、光照特效元件，组合形成包含众多类别的元件库；

(1-1-2)公共组件库生成；分析不同学科虚拟教学的流程，抽取相同的功能、算法和函数，通过分类、组合形成具有不同处理功能的公共组件，生成虚拟教学公共组件库，与元件配合使用，实现虚拟课堂创建、教学过程互动、网络数据调用功能；

(1-1-3)虚拟教学套件的生成；根据虚拟教学流程，设计虚拟课堂教学场景的组合规则，通过调用公共组件库中相关功能，校验、检测虚拟课堂中各元件之间连接、包含、关联、排斥关系的正确性，判断各元件之间的可组装性、组装次序和几何配准程度，生成粒度不同的虚拟教学套件；

(1-2)虚拟课堂可视化设计子模块创建虚拟教室可视化设计工具，教师在主视图区域拖动元件、组件图标，可视化设计虚拟教室的场景、模型、角色元素，元件之间的组件连接和参数设置可确定虚拟课堂的内容和执行次序；

(1-2-1)创建虚拟课堂的可视化设计工具，在元件与组件列表框内使用图标+名称的组合表示每个元素；教师可将元件、组件图标拖动到主视图区，使用组件实现各类元件之间输入、输出的连接；

(1-2-2)虚拟课堂的设计，根据教学活动设计，教师从图标区拖动不同的元件与组件图标到主视图区，使用组件连接各个元件，应用虚拟套件的生成规则，检查各个元件之间的可组装性、组装次序和几何配准，验证虚拟课堂教学场景设计意图的可行性；

(1-2-3)组件功能函数的参数设置，通过为功能函数添加输入、输出参数，设置虚拟教室中桌椅数量、初始排列、位置姿态、光照强度参数，实现元件和组件功能的高耦合，采用不同的虚拟教学套件生成规则，构建多种虚拟场景组合形态；

(1-3)共享和互操作子模块参考可编程仪器标准，采用XML语言描述虚拟同步课堂设计结果，使用树结构记录虚拟课堂中可嵌套的父子元件，映射元件之间复杂的逻辑关系，实现基于场景树的虚拟课堂的脚本文件存储，使用反射机制解析脚本，实现虚拟课堂设计结果的互操作；

(1-3-1)虚拟课堂的存储；参考可编程仪器标准，采用XML语言描述虚拟同步课堂设计结果，使用树结构记录虚拟教室中元件之间的父子关系，采用Map数据结构 映射复杂的逻辑关系，运用抽象语法树描述虚拟课堂的组件功能与执行顺序；

(1-3-2)虚拟课堂的脚本记录；教师保存虚拟教室的可视化设计成果时，在XML脚本文件中记录师生列表、场景布局、课堂状态及其逻辑关系，使用树状结构映射函数的参数端口，实现基于场景树的虚拟课堂的脚本记录；

(1-3-3)执行虚拟课堂脚本；使用访问者模式遍历XML文件中的各个元素，从语法树结构中抽取设计意图、元件模型和组件函数，依次执行函数匹配、端口映射以及其对应的几何模型、材质纹理、动画特效的动态加载，经过格式、语义和组合规则的验证，执行脚本命令，创建虚拟课堂；

(2)虚拟同步课堂教学

(2-1)同步课堂服务端子模块应用RPC框架，采用总、分结构架设同步课堂服务器，负责处理不同的数据和信息转发；利用Protobuf协议将活动、操作、交互封装成数据包，实现云—端、端—端之间的传输；采用基于时间戳的一致性排序策略同步控制虚拟课堂的教学活动；

(2-1-1)总分服务器架构搭建；应用RPC框架，在C/S架构的基础上采用分布式设计方式，将虚拟课堂的模型、素材、资源内容分发与交互信息的处理服务抽离出来，交由分服务器负责，总服务器仅负责师生登录和信息维护，并管理分组服务器；

(2-1-2)利用Protobuf协议高压缩、序列化的特征，将逻辑数据封装成数据包，使用通信模块实现师生终端与云端服务器之间活动、操作、交互数据的接收、分发，实时更新虚拟课堂中师生化身的位置移动、观察角度，与其它对象的绑定关系；

(2-1-3)虚拟课堂教学场景的同步；针对网络延迟或新成员加入导致不同终端虚拟场景画面或交互状态的不一致，采用基于时间戳的一致性排序策略同步控制虚拟课堂的教学场景；若发生冲突，根据各成员的权限，由服务器端协调形成解决方案，并将执行指令发送给各客户端；

(2-2)同步课堂客户端子模块根据解析的虚拟课堂脚本命令，从云端服务器下载教学资源，在本地客户端生成虚拟教室；师生以虚拟化身的形式进入虚拟课堂，与其他师生开展异地远程同步教学；教学过程中实现云—端、端—端之间数据、消息、状态的同步，应用云锚点技术，确保各客户端画面内容、视场角度和显示重点一致；

(2-2-1)虚拟教室的生成；根据解析的虚拟课堂脚本命令，从云端服务器下载相应的师生化身、场景模型、教学资源，在本地客户端重建虚拟教室，完成虚拟场景、模型、师生化身的布设和重建，以及状态、消息、行为同步；

(2-2-2)虚拟课堂的创建；根据课程表和上课学生名单，教师使用消息推送功能通知学生加入教学活动，师生通过本地客户端进入虚拟课堂，以虚拟化身的形式进入到其他参与者的虚拟教室中，开展异地远程同步虚拟教学；

(2-2-3)虚拟教学活动的开展；采用固定或随机方式，分配教学活动中师生虚拟化身的位置、视角、物品；应用云锚点技术，记录虚拟教室中对象的位置、旋转、缩放、层级内容，通过与云端服务器的通信，同步各客户端之间的数据、消息和状态，确保各客户端画面内容、视场角度和显示重点一致；

(2-3)同步课堂管理子模块中教师根据教学计划，邀请班级同学加入虚拟课堂，依据教学活动的需要分组，并指定组长；退出或切换虚拟课堂时，将解除、清空与当前课堂的绑定关系；使用并发锁与冲突避免机制处理多用户并发操作；

(2-3-1)师生用户管理；通过注册、批量导入学校或班级的花名册信息到师生用户表中，创建不同类别的师生访问权限；教师可根据教学计划将学生分组，并指定组长协助教师开展教学活动，通过网络侦测技术，监听虚拟课堂中师生的在/离线状态；

(2-3-2)教学活动管理；支持教师基于课表创建不同的虚拟课堂，根据课堂选课人员信息，使用消息推送功能邀请相关学生加入到虚拟课堂的教学活动中；师生退出或切换虚拟课堂时，解除与当前虚拟课堂的绑定关系，清空虚拟教室中的化身；

(2-3-3)权限管理；根据超级管理员、管理员、教师、学生的角色，授予其在虚拟同步课堂教学系统的权限；师生在虚拟教学活动中执行创建、编辑、删除操作时，根据各参与者的权限，使用并发锁与冲突避免机制处理并发操作；

(3)虚拟同步课堂教学互动

(3-1)教学互动子模块支持师生、生生之间通过文字、语音、视频形式，开展多对多、一对多、一对一教学；通过直联功能发起、开展一对一教学，并锁定他们的化身状态；采用广播模式实现参与者之间教学内容的同步，运用特殊方式展示教学过程信息；

(3-1-1)教学互动机制；在虚拟同步课堂教学活动中，支持师生、生生之间通过文字、语音、视频形式，开展多对多、一对多、一对一教学；支持采用声音、特效、震动反馈形式为教师讲解、提问，学生举手、发言互动点赞与鼓掌；

(3-1-2)一对一教学；虚拟课堂中，师生或生生之间通过点击虚拟化身或成员列表发起一对一直联请求，接受后，通过文字、语音、视频互动形式开展一对一讲解、提问、答疑教学活动；此时将他们的虚拟化身标注为锁定状态，不再参与教学活动中其它互动；

(3-1-3)一对多教学；开展大班或分组教学过程中，可采用广播模式实现虚拟课堂中各参与者之间消息、文本、语音、视频教学内容的同步，运用透明叠加、高亮显示、特殊颜色方式展示教学过程信息；

(3-2)内容显示子模块中师生可根据控制权限，将同步控制器屏幕上的内容显示到放置在虚拟教室前部的电子屏幕上，为进入虚拟教室的师生化身头部上方添加文字或照片标识，并能支持正面观看；

(3-2-1)显示教学内容；采用动态纹理技术将教学内容显示到放置在虚拟教室前端的电子屏幕上，通过透明图层的方式将教师的板书与批注、学生的评论和回答教学过程信息叠加显示在电子屏幕上；

(3-2-2)配置同步控制器；为进入虚拟课堂的师生化身配置同步控制器，同步控制器屏幕可显示教学内容或教学过程信息，教学过程中可以在同步控制器屏幕上书写、绘制教学重难点的讲解信息，并将这些信息同步显示到电子屏幕上；

(3-2-3)标注虚拟化身信息；在本地虚拟教室中，其他参与者虚拟化身的头部上方，使用Billboard平面创建标识，可添加姓名、性别、班级文字或图片信息，根据观察者与虚拟化身的位置、视线方向，绕Z轴旋转，确保其正面朝向观察者；

(3-3)信息浏览子模块使用云增量技术在云—端、端—端同步更新交互操作结果；应用画笔渲染算法在同步控制器屏幕上绘制教学信息，并在电子屏幕上展示；支持师生选中、查看虚拟课堂中的模型、资源以及化身的信息；

(3-3-1)更新教学互动；在虚拟课堂中，师生、生生之间通过虚拟化身开展教学活动，采用移动、缩放、点击方式与虚拟教室中模型、场景、资源互动，使用云增量技术在云—端、端—端同步更新交互操作结果；

(3-3-2)呈现教学过程信息；通过追踪参与者的动作，采用实时绘图的画笔渲染算法，在同步控制器屏幕上绘制批注、标示过程信息；当前拥有电子屏幕控制权限的师生，可将教学过程信息叠加显示在电子屏幕的对应教学内容上；

(3-3-3)查看虚拟环境信息；教学过程中，师生通过手势、视线、语音交互方式，选中本地虚拟课堂中的模型、化身、资源对象，浏览教学过程信息，查看其他师生虚拟化身附带的信息。