[发明专利]一种结合文字信息的快速绘本识别方法及系统

权利要求书

1.一种结合文字信息的快速绘本识别方法，其特征在于，包括：

步骤S1：建立数据库，对已有的第一绘本图片进行编码获得第一编码信息；

步骤S2：通过设备镜头拍摄绘本获取待识别的第二绘本图片，解析所述第二绘本图片获取第二编码信息；

步骤S3：基于所述第二编码与所述第一编码，获取与所述第二绘本图片对应的所述第一绘本图片的所述绘本内容并播放所述绘本内容反馈给用户。

2.如权利要求1所述的结合文字信息的快速绘本识别方法，其特征在于，所述第一编码信息包括：基于文字信息的语义特征和基于图片内容的抽象特征。

3.如权利要求2所述的结合文字信息的快速绘本识别方法，其特征在于，对所述数据库中的所述第一绘本图片进行聚类。

4.如权利要求3所述的结合文字信息的快速绘本识别方法，其特征在于，步骤S2：通过设备镜头拍摄绘本获取待识别的第二绘本图片，解析所述第二绘本图片获取第二编码信息，具体包括：

进行文字检测和文字识别的文字信息，对所提取的文字信息进行编码得到其语义信息；

提取所述第二绘本图片的图片特征。

5.如权利要求4所述的结合文字信息的快速绘本识别方法，其特征在于，所述步骤S3：基于所述第二编码与所述第一编码，获取与所述第二绘本图片对应的所述第一绘本图片的所述绘本内容并播放所述绘本内容反馈给用户；具体包括：

在步骤S2的基础上，寻找所述第二绘本图片的所述第二编码信息的所属类别；

得到类别之后，与所述类别里的所述第一绘本图片进行比对，选取特征距离最小的所述第一绘本图片作为最终的识别结果；

得到识别结果，播放相应的绘本内容反馈给用户。

6.一种结合文字信息的快速绘本识别系统，其特征在于，包括：

数据库获取模块，用于建立数据库，对已有的第一绘本图片进行编码获得第一编码信息；

绘本图片解析模块，用于通过设备镜头拍摄绘本获取待识别的第二绘本图片，解析所述第二绘本图片获取第二编码信息；

识别模块，用于基于所述第二编码与所述第一编码，获取与所述第二绘本图片对应的所述第一绘本图片的所述绘本内容并播放所述绘本内容反馈给用户。

7.如权利要求1所述的结合文字信息的快速绘本识别系统，其特征在于，所述第一编码信息包括：基于文字信息的语义特征和基于图片内容的抽象特征。

8.如权利要求7所述的结合文字信息的快速绘本识别系统，其特征在于，对所述数据库中的所述第一绘本图片进行聚类。

9.如权利要求8所述的结合文字信息的快速绘本识别系统，其特征在于，所述绘本图片解析模块执行包括如下操作：

进行文字检测和文字识别的文字信息，对所提取的文字信息进行编码得到其语义信息；

提取所述第二绘本图片的图片特征。

10.如权利要求9所述的结合文字信息的快速绘本识别系统，其特征在于，所述识别模块执行包括如下操作：

在绘本图片解析模块的输出结果上，寻找所述第二绘本图片的所述第二编码信息的所属类别；

得到类别之后，与所述类别里的所述第一绘本图片进行比对，选取特征距离最小的所述第一绘本图片作为最终的识别结果；

得到识别结果，播放相应的绘本内容反馈给用户。