[发明专利]一种基于增强现实眼镜的远程辅导系统及方法

权利要求书

1.一种基于增强现实眼镜的远程辅导系统；至少包括；

用于采集教师授课情形、接收学生端数据并进行显示的教师端；

用于接收教师端数据并进行显示、用于采集学生听课情形的学生端；

以及用于实现教师端和学生端之间数据交互的云端服务器；其特征在于：

所述教师端和学生端均包括增强现实眼镜；

所述基于增强现实眼镜的远程辅导系统还包括图像处理模块，当进行事后辅导时，学生端的增强现实眼镜录制学生解题过程，并上传至云端服务器存储，增强现实眼镜以定时抓取学生解题视频截图，并利用数字图像处理模块识别学生在纸上书写的内容变化量，当后一次抓图内容与前一次抓图内容相比，超过预设的百分比时，将后一次截图数据与时间戳关联，上传至云端服务器并保存，以图片代替视频方式进行存储；

所述学生端的增强现实眼镜用于以第一人称视角拍摄视频，并显示从教师端回传的视频和语音信息；所述教师端的增强现实眼镜用于以第一人称视角拍摄视频后将视频及语音信息发送至学生端，或播放教学课件和视频同步至学生端，或显示从学生端回传的视频和语音信息。

2.根据权利要求1所述的基于增强现实眼镜的远程辅导系统，其特征在于，所述学生端和教师端的增强现实眼镜均搭载前置摄像头，该摄像头用于拍摄在纸面手写过程的视频，同时识别学生或教师的手势以及识别在纸上书写的内容变化量。

3.根据权利要求1所述的基于增强现实眼镜的远程辅导系统，其特征在于，所述教师端和学生端的增强现实眼镜均搭载有语音互动的微型扬声器和麦克风。

4.根据权利要求1所述的基于增强现实眼镜的远程辅导系统，其特征在于，所述基于增强现实眼镜的远程辅导系统包括播放课件和/或视频模块、实时辅导和/或事后辅导模块。

5.根据权利要求1所述的基于增强现实眼镜的远程辅导系统，其特征在于，所述学生端包括教学视频手动录制模块。

6.根据权利要求1所述的基于增强现实眼镜的远程辅导系统，其特征在于，云端服务器以基于时间戳的视频截图形式进行存储。

7.一种基于权利要求1所述的基于增强现实眼镜的远程辅导系统的方法，其特征在于，包括如下步骤：

S101、教师端和学生端通过云端服务器建立数据交互关系；

S102、教师端采集教师授课情形的授课数据，并将授课数据发送至云端服务器；

S103、学生端通过云端服务器获取实时辅导或事后辅导的数据，进而进入相应的辅导课程；

当学生选择实时辅导时，则教师端和学生端的增强现实眼镜同步开启，并将本地获取到的数据发送至对方；双方通过增强现实眼镜能够实时读取对方的数据；

当学生选择事后辅导时，学生端的增强现实眼镜录制学生解题过程，并上传至云端服务器存储，增强现实眼镜以定时抓取学生解题视频截图，并利用数字图像处理模块识别学生在纸上书写的内容变化量，当后一次抓图内容与前一次抓图内容相比，超过预设的百分比时，将后一次截图数据与时间戳关联，上传至云端服务器并保存，以图片代替视频方式进行存储。

8.根据权利要求7所述的基于增强现实眼镜的远程辅导系统的方法，其特征在于，所述数字图像处理模块识别学生在纸上书写的内容变化量具体过程为：

S201、定时截图；

S202、图像预处理；

S203、计算相邻两张截图的变化量，并将变化量与阈值进行比较，当变化量未超过阈值时，则返回步骤S201，当变化量超过阈值时，则执行步骤S204；

S204、将截图关联时间戳；

S205、发送至云端服务器保存。

9.根据权利要求8所述的基于增强现实眼镜的远程辅导系统的方法，其特征在于，所述图像预处理具体为：

S2021、原始图像的纸张轮廓识别；具体为：

用微分算子canny算法标记截图中的纸面轮廓；首先采用高斯滤波器平滑图像，去除图像噪声；然后使用sobel算子分别计算x，y方向梯度分量及梯度方向；随后对梯度值不是极大值的地方进行抑制，排除非边缘像素，仅保留了一些细线条；最后用双阈值连接图上的联通点；

其中sobel算子用于边缘检测的离散差分算子，图像中的某一个像素及其邻域表示如下：

其中：I为像素点f(x,y)及其3*3邻域；

对于x和y两个方向分别求导，内核大小为3时：水平变换

垂直变换

使用下列公式计算梯度幅值和方向：

梯度幅值

方向角度

S2022、轮廓图像二值化；

S2023、霍夫变换计算轮廓倾角和位置；

S2024、图像旋转和拉伸矫正。