[发明专利]一种基于手势协助定位学习的方法和系统

权利要求书

1.一种基于手势协助定位学习的方法，其特征在于，包括步骤：

拍摄获取目标图片；所述目标图片包括学生使用手指在书本上所指定的提问区域图像和手指指在书本上时的手指部位图像；

对所述手指部位图像进行识别得到对应的手指姿态，将所述手指姿态与手势映射关系表进行匹配得到对应的定位范围；所述定位范围包括行列定位范围、整体定位范围；所述行列定位范围用于提取得到行列问题内容，所述整体定位范围用于提取得到整体问题内容；

根据所述定位范围和所述提问区域图像，解析得到书本上所指定的区域对应的问题内容，根据问题内容获取对应的问题答案；

向学生告知问题答案。

2.根据权利要求1所述的基于手势协助定位学习的方法，其特征在于，所述对所述手指部位图像进行识别得到对应的手指姿态，将所述手指姿态与手势映射关系表进行匹配得到对应的定位范围具体包括步骤：

将所述手指部位图像输入预训练得到的手指姿态识别分类模型中，识别所述手指部位图像对应的手指姿态；

当与所述手势映射关系表匹配得到的手指姿态为语句提问姿态时，得到行列定位范围；

当与所述手势映射关系表匹配得到的手指姿态为题目提问姿态时，得到整体定位范围。

3.根据权利要求2所述的基于手势协助定位学习的方法，其特征在于，所述根据所述定位范围和所述提问区域图像，解析得到书本上所指定的区域对应的问题内容，根据问题内容获取对应的问题答案具体包括步骤：

对所述提问区域图像进行图像识别处理，获得学生使用手指在书本上所指定的区域的手指位置坐标，以及所述提问区域图像对应的学习内容；

当所述定位范围为行列定位范围时，根据所述手指位置坐标对所述学习内容进行问题内容提取得到对应的行列问题内容，并获取对应于所述行列问题内容的问题答案；

当所述定位范围为整体定位范围时，根据所述手指位置坐标对所述学习内容进行问题内容提取得到对应的整体问题内容，并获取对应于所述整体问题内容的问题答案。

4.根据权利要求1-3任一项所述的基于手势协助定位学习的方法，其特征在于，所述拍摄获取目标图片之前包括步骤：

判断智能学习设备是否获取到拍摄开启触发信号；若是，开启设于所述智能学习设备处的摄像头开始工作。

5.根据权利要求1-3任一项所述的基于手势协助定位学习的方法，其特征在于，所述目标图片所述向学生告知问题答案之后包括步骤：

当获取的目标图片中手指部位图像识别得到的手指姿态与连拍手指姿态相符时，拍摄获取预设时长的手部视频；

对所述手部视频进行分帧处理得到n帧手部图片帧；

按照时间先后顺序依次对n帧手部图片帧进行图像处理，获得手部移动轨迹；

将所述手部移动轨迹与轨迹映射关系表匹配，根据匹配结果获取对应的学习资料，并向学生显示所述学习资料。

6.一种基于手势协助定位学习的系统，其特征在于，包括：

拍摄模块，用于拍摄获取目标图片；所述目标图片包括学生使用手指在书本上所指定的提问区域图像和手指指在书本上时的手指部位图像；

图像识别模块，与所述拍摄模块连接，用于对所述手指部位图像进行识别得到对应的手指姿态，将所述手指姿态与手势映射关系表进行匹配得到对应的定位范围；所述定位范围包括行列定位范围、整体定位范围；所述行列定位范围用于提取得到行列问题内容，所述整体定位范围用于提取得到整体问题内容；

处理模块，与所述拍摄模块连接，用于根据所述定位范围和所述提问区域图像，解析得到书本上所指定的区域对应的问题内容，根据问题内容获取对应的问题答案；

告知模块，与所述处理模块连接，向学生告知问题答案。