[发明专利]纸面作业辅助学习系统、方法、设备及存储介质

权利要求书

1.一种纸面作业辅助学习系统，其特征在于，包括：

一桌子（1），用于放置纸面作业（6）；

一支撑臂（2），设置于桌子（1）上；

一照明设备（3），设置于所述支撑臂（2），照射所述桌子上表面；

一摄像设备（4），设置于所述支撑臂（2），拍摄所述纸面作业（6）；

一投影设备（5），设置于所述支撑臂（2），向所述纸面作业（6）投影；

一处理单元，分别连接所述摄像设备（4）和投影设备（5），所述处理单元对所述摄像设备（4）采集的图像进行图文识别，自所述图像中定位至少一题目文本区域和与所述题目文本区域相关联的笔迹图案区域，并生成一相关联的解答投影区域，分别自所述题目文本区域中识别出题目文本信息，自笔迹图案区域识别出学生书写信息，基于每段所述题目文本信息在预设题库中查找对应的题目和预设答案，所述处理单元通过图像识别确定笔在图像中的范围，并跟踪笔尖（7）的位置，当所述笔尖（7）离开所述笔迹图案区域之后，判断所述笔迹图案区域的学生书写信息与所述笔迹图案区域对应的题目文本区域的题目的预设答案是否匹配，若否，则将所述学生书写信息标记为错误解答，自将所述预设答案通过所述投影设备（5）投影于所述错误解答相关联的解答投影区域；所述处理单元基于所述题目文本区域、笔迹图案区域、解答投影区域之间平面布局关系以及需要显示的所述预设答案生成一投影图案，所述预设答案仅位于所述解答投影区域中；所述处理单元根据所述照明设备（3）的图像中所述纸面作业（6）的长宽尺寸和长宽比例关系，生成所述投影图案，当照射到所述纸面作业（6）时，所述投影图案与所述纸面作业（6）重叠，所述解答投影区域被投影于所述错误解答旁的空白区域；通过基于印刷文字样本训练的第一神经网络模型自所述题目文本区域中识别出题目文本信息；通过基于书写文字样本训练的第二神经网络模型自笔迹图案区域识别出学生书写信息。

2.根据权利要求1所述的纸面作业辅助学习系统，其特征在于，所述照明设备（3）包括灯罩和设置于所述灯罩中的灯泡；

所述摄像设备（4）为一设置于灯罩中的摄像头，所述摄像头的进光方向垂直于所述桌子（1）；

所述投影设备（5）为一设置于灯罩中的投影仪，所述投影仪的出光方向垂直于所述桌子（1）。

3.根据权利要求1所述的纸面作业辅助学习系统，其特征在于，基于所述题目文本区域和所述笔迹图案区域分别相邻的空白区域生成一相关联的解答投影区域；

所述解答投影区域位于所述题目文本区域的下方与下一题题目文本区域的上方之间，且所述解答投影区域位于所述笔迹图案区域的右侧。

4.一种纸面作业辅助学习方法，采用如权利要求2所述的纸面作业辅助学习系统，其特征在于，包括：

S110、所述摄像头拍摄桌面上纸面作业的图像；

S120、对所述摄像头拍摄的所述图像进行图文识别，自所述图像中定位至少一题目文本区域和与所述题目文本区域相关联的笔迹图案区域，并生成一相关联的解答投影区域；

S130、自所述题目文本区域中识别出题目文本信息，自笔迹图案区域识别出学生书写信息；

S140、基于每段所述题目文本信息在预设题库中查找对应的题目和预设答案；

S170、判断所述学生书写信息与所述答案是否匹配，若是，则返回步骤S110，若否，则执行步骤S170；

S180、将所述学生书写信息标记为错误解答，自将所述预设答案通过所述投影设备投影于所述错误解答相关联的解答投影区域。

5.一种纸面作业辅助设备，其特征在于，包括：

处理器；

存储器，其中存储有所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求4所述纸面作业辅助学习方法的步骤。

6.一种计算机可读存储介质，用于存储程序，其特征在于，所述程序被处理器执行时实现权利要求4所述纸面作业辅助学习方法的步骤。