[发明专利]一种基于人工智能的儿童绘本辅助阅读方法

说明书

本发明公开了一种基于人工智能的儿童绘本辅助阅读方法，包括：逐页拍摄书页图像，制作书页图像模板，保存书页图像特征；通过摄像头拍摄书页图像，提取书页图像的纹理特征，与模板进行匹配，判断书页页码；根据书页页码载入当前页面上的点读资源，点读资源包括绘本中的人物形象及其对应的音频故事和问答资源；检测动态手势的关键图像帧，抛弃模糊不清晰的手势图像帧；通过摄像头拍摄视频帧图像，检测儿童手指指向的点读资源处，则播放对应人物的故事；进入语音问答环节，根据当前页的内容匹配知识库中的问题，主动与儿童会话。上述方法可提供绘本的点读和问答，提高儿童学习兴趣和效率，能够在教学条件不足的场合，辅助儿童自行进行绘本阅读。

技术领域

本发明涉及一种儿童绘本辅助阅读方法，特别是涉及一种基于人工智能的儿童绘本辅助阅读方法。

背景技术

采用多媒体的教育技术手段能够提高儿童对绘本阅读的兴趣，辅助教学。图像识别技术在辅助阅读方面具有较广的应用前景，通过对图像书页内容的自动判识，进而从海量数据库检索相应的教学资源，能够有效的提高学习效率，弥补教育资源分配的不足。在儿童绘本的阅读与学习过程中，书本的内容往往需要父母或教师的讲解，在互动中加深印象。而对于教育条件缺乏的场合，儿童自己无法很好的阅读和吸收绘本中的知识。

发明内容

针对上述存在的技术问题，本发明提供一种基于人工智能的儿童绘本辅助阅读方法，以解决儿童独立阅读时因缺少互动，导致学习效率不高的问题。

本发明为了解决上述问题而提供的一种儿童绘本辅助阅读方法，包括以下步骤：

步骤1、逐页拍摄书页图像，制作书页图像模板，保存书页图像SIFT特征。

步骤2、通过摄像头拍摄书页图像，并且提取书页图像的SIFT特征，与模板进行匹配，判断书页页码。

步骤3、根据书页页码载入当前页面上的点读资源，点读资源包括绘本中的人物形象及其对应的音频故事和问答资源。

步骤4、检测动态手势的关键图像帧，并抛弃模糊不清晰的手势图像帧。通过以下步骤检测动态手势的关键图像帧与抛弃不清晰的图像帧：

步骤4.1、对图像帧进行降采样，即等间隔的每隔N-1帧，保留1帧图像。对彩色图像进行灰度图像转换；对相邻帧的对应像素点进行差分计算，即在相同的坐标位置处读取图像的像素值，保存对应像素值之差，得到一幅新的差值图像；

步骤4.2、对差值图像的像素进行求和，通过阈值限定小于阈值的差值图像和置为零；

步骤4.3、对差值图像的像素和的变化趋势进行分析，当出现下降沿时，该时刻之后的一帧图像作为关键帧；

步骤4.4、对关键帧图像进行小波变换提取边缘信息，当图像边缘模糊程度超过阈值时，抛弃该帧图像。

步骤5、通过摄像头拍摄视频帧图像，检测儿童手指位置，当手指位于点读资源处，则播放对应人物的故事，并自动进入语音问答环节。

手指定位过程中，通过以下步骤检测儿童手指位置：

步骤5.1、对包含儿童手形的图像，进行噪点消除的预处理和肤色检测，将于肤色明显差异的像素区域排除。

步骤5.2、对图像进行边缘提取，提取边缘轮廓中的外凸型边缘，根据手指形状的先验经验信息判断形状的符合程度。

步骤5.3、结合视频连续帧进行处理，计算相邻两帧的像素值差，根据阈值判断视频帧图像中移动物体的位置区域，结合步骤4.2中手形的检测，综合判断手指点读的位置。

步骤6、自动进入语音问答环节，根据当前页的内容匹配知识库中的问题，并主动与儿童会话；

步骤6.1、对点读目标进行识别，结合预先标注的点读标签生成若干个关键词；