[发明专利]一种辅导学生讲述绘本故事的系统及方法

说明书

本发明公开了一种辅导学生讲述绘本故事的系统及方法，通过在服务器端预存绘本页面图像和对应的提示内容，利用学生端监测用户讲述绘本故事的过程，当出现中断时，利用服务器端匹配当前绘本的页面图像并返回提示内容，辅导用户继续进行讲述，当匹配失败时学生端还可以自行识别并形成提示内容。本发明可以降低家长的辅导负担，帮助用户自主学习，而且可以避免学生端产生较大的计算负荷，降低学生端的运行速度。

技术领域

本发明涉及智能教育技术领域，具体涉及一种辅导学生讲述绘本故事的系统及方法。

背景技术

通过令学生阅读绘本并讲述故事，可以培养学生的表达能力和观察能力，但是学生在讲述绘本故事的过程中有可能会出现卡顿、不知道从何处入手描述的情况，且家长有可能无法提供及时的辅导，容易打击学生的阅读积极性。

发明内容

针对现有技术的不足，本发明旨在提供一种辅导学生讲述绘本故事的系统及方法。

为了实现上述目的，本发明采用如下技术方案：

一种辅导学生讲述绘本故事的系统，包括服务器端和学生端；

所述服务器端设有绘本数据库，所述绘本数据库用于存储一个或多个绘本，每个绘本包括多张页面图像，各张页面图像按照不同的形象分类，并且每张页面图像均关联有设定的提示内容；服务器端还用于在接收到学生端发送的绘本的当前页面图像后在绘本数据库中进行匹配，并将匹配到的绘本的页面图像关联的提示内容返回至控制模块；

学生端设有摄像头、语音模块、通讯模块和控制模块，所述摄像头、语音模块和通讯模块分别与所述控制模块通讯连接；所述摄像头用于获取学生端的用户当前正在阅读的绘本的页面图像并传输至控制模块，所述语音模块用于采集用户讲述绘本故事的声音并传输至控制模块；所述控制模块用于当根据语音模块采集的语音判断到用户已经超过设定的时长阈值没有讲述绘本，利用摄像头获取绘本的当前页面图像然后通过通讯模块传输至服务器端；所述控制模块还用于在接收到服务器端返回的提示内容后将其转换为音频数据并调用语音模块进行播放，对用户进行提示。

进一步地，所述服务器端用于在绘本的页面图像匹配失败后向学生端返回匹配失败的消息，所述控制模块用于在接收到匹配失败的消息后，对摄像头获取的绘本的当前页面图像进行识别，提取出其中的文字，对文字进行结构分析后提取出句子的主干，然后据此组成提示内容，将提示内容转换为音频数据后调用语音模块播放。

本发明还提供了一种利用上述系统的方法，具体过程为：

用户先令绘本和摄像头的位置相对，然后触发开始讲故事事件；

控制模块控制语音模块采集用户讲述绘本故事的声音并传输至控制模块；所述控制模块对语音模块采集的语音进行监测，当判断到用户已经超过设定的时长阈值没有讲述绘本时，利用摄像头获取绘本的当前页面图像然后通过通讯模块传输至服务器端；

服务器端接收到学生端发送的绘本的当前页面图像后在绘本数据库中进行匹配，如果匹配成功，将匹配到的绘本的页面图像关联的提示内容返回至控制模块；控制模块接收到服务器端返回的提示内容后将其转换为音频数据并调用语音模块进行播放，对用户进行提示，辅助用户讲述绘本故事。

进一步地，如果服务器端接收到学生端发送的绘本的当前页面图像后在绘本数据库中匹配失败，向学生端返回匹配失败的消息，所述控制模块用于在接收到匹配失败的消息后，对摄像头获取的绘本的当前页面图像进行识别，提取出其中的文字，对文字进行结构分析后提取出句子的主干，然后据此组成提示内容，将提示内容转换为音频数据后调用语音模块播放。