[发明专利]图画书识别方法、装置、电子设备和存储介质

说明书

本申请提供一种图画书识别方法、装置、电子设备和存储介质，涉及图像识别技术领域。本申请预先通过深度摄像头采集的设定区域的支撑物深度图确定彩色摄像头至图画书支撑物之间的距离，在进行图画书识别时，先根据彩色摄像头至图画书支撑物之间的距离，将彩色摄像头采集的设定区域的彩色图调整至设定尺度，再利用调整至设定尺度的彩色图与预存的图画书模板进行匹配，确定与彩色图中的图画书区域相匹配的目标模板。该方法不需要将彩色图缩放到多个不同的尺度分别与预存的图画书模板进行匹配，可以大幅度地提升图画书的识别效率。

技术领域

本申请涉及图像识别技术领域，特别涉及一种图画书识别方法、装置、电子设备和存储介质。

背景技术

图画书是一种以图画为主体讲述故事或科普知识的图书，包括图画读物、图画故事、连环画、绘本等。目前，大部分图画书以儿童为主要受众，以适合儿童阅读的内容为取向，图画书可以帮助孩子了解世界，学习知识，更重要的是可以帮助孩子培养对于阅读的爱好和兴趣。

以绘本为例，为了帮助儿童阅读绘本，可以对绘本进行识别，通过音频等形式播放绘本内容。目前，绘本识别方法主要有使用点读笔对绘本进行识别或通过图像识别技术对绘本进行识别。使用点读笔对绘本进行识别时，一般通过笔尖的光电识别器来识别绘本中隐藏的二维点读码，然后根据点读码获取对应的音频进行播放，该方式只适用于有点读码的绘本，通常点读笔和绘本配套使用。

通过图像识别技术对绘本进行识别的应用场景更广泛，不需要预先对绘本进行特殊处理。采用现有的图像识别方法对绘本进行识别时，由于每次进行识别时，绘本与摄像头之间的距离可能不同，导致摄像头采集的图像中绘本的尺度不同，在将摄像头采集的图像中的绘本与预存的绘本库中的绘本模板进行匹配识别时，需要反复进行多个不同尺度的匹配操作，因此识别效率很低。

发明内容

本申请实施例提供一种图画书识别方法、装置、电子设备和存储介质，用以解决现有技术中图画书的识别效率低的问题。

第一方面，本申请实施例提供了一种图画书识别方法，包括：

根据彩色摄像头至图画书支撑物之间的距离，将彩色摄像头采集的设定区域的彩色图调整至设定尺度；其中，所述彩色摄像头至图画书支撑物之间的距离是根据与所述彩色摄像头对应设置的深度摄像头采集的所述设定区域的支撑物深度图确定的；

确定与调整至设定尺度的彩色图中的图画书区域相匹配的目标模板。

本申请实施例提供的图画书识别方法，预先通过深度摄像头采集的设定区域的支撑物深度图确定彩色摄像头至图画书支撑物之间的距离，在进行图画书识别时，先根据彩色摄像头至图画书支撑物之间的距离，将彩色摄像头采集的设定区域的彩色图调整至设定尺度，再利用调整至设定尺度的彩色图与预存的图画书模板进行匹配，确定与彩色图中的图画书区域相匹配的目标模板。该方法不需要将彩色图缩放到多个不同的尺度分别与预存的图画书模板进行匹配，可以大幅度地提升图画书的识别效率。

在一种可能的实现方式中，所述确定与调整至设定尺度的彩色图中的图画书区域相匹配的目标模板，包括：

提取所述彩色图的图画书区域的特征点和每个特征点的特征向量；

对于预存的任意一个图画书模板，根据所述图画书模板中每个特征点的特征向量和所述彩色图的图画书区域的每个特征点的特征向量，确定所述图画书模板与所述彩色图的图画书区域的匹配点对集合，所述匹配点对集合中包括由图画书模板的特征点与所述彩色图中相匹配的特征点组成的匹配点对；

根据从所述匹配点对集合中获取的预设数量的匹配点对，确定表征所述彩色图对应的彩色坐标系与所述图画书模板之间的坐标映射关系；

根据所述彩色坐标系与所述图画书模板之间的坐标映射关系，对所述图画书模板与所述彩色图进行特征点的几何验证；

若所述图画书模板通过几何验证，则将所述图画书模板确定为目标模板。