[发明专利]一种互动阅读实现方法

说明书

本发明公开了一种互动阅读实现方法，包括以下步骤：在印刷品的原始页面上利用特征信息及坐标信息形成多媒体内容库；利用硬件阅读笔的图像采集组件采集封面页的局部图像，处理器对局部图像提取到的特征点与封面页特征库进行匹配，获得印刷品信息；利用阅读笔的图像采集组件采集印刷品内容页上感兴趣区域的区域图像进行特征点提取及与内容页特征库匹配，根据匹配结果获得感兴趣区域的坐标位置信息，获取对应位置预置的多媒体文件并进行播放。达到“想读哪里照哪里”的实用效果。本发明无需在书本上预制编码，摆脱了预制编码的局限性，同时能够确保内容播报的准确性。

技术领域

本发明涉及多媒体教育技术领域，特别涉及一种互动阅读实现方法。

背景技术

点读是利用光学图像识别技术和数字语音技术实现的智能阅读和学习方式，它体现了电子多媒体技术与教育行业的完美融合，实现了科技以人为本的理念。

就现有的点读设备而言，通常需要对书本做预先处理，在书本上印制或黏贴特定的编码，否则将无法识别书本内容。另外，由于编码规则的限制，使得总编码数量有限，对于内容较多的书本来说，读识编码的方式就表现出了明显的局限性。

发明内容

本发明的目的在于提供一种互动阅读实现方法，其无需在书本上预制编码，摆脱了因编码局限性对点读内容的限制。

为实现上述目的，本发明采用以下技术方案：

一种互动阅读实现方法，其基于硬件阅读笔实现，所述阅读笔包括笔主体、图像采集组件及光照提示组件，所述笔主体内设有处理器和存储器，所述图像采集组件设于所述笔主体上且位于笔尖位置，所述光照提示组件设于所述笔主体上且位于图像采集组件附近，所述图像采集组件、光照提示组件及存储器分别连接所述处理器。该方法包括以下步骤：

S1、预先针对印刷品的封面页和内容页分别进行特征点提取，从而获得封面页特征库和内容页特征库，并存储到所述存储器；

S2、预先在印刷品的原始页面以某些特定区域对应某些多媒体文件的方式形成对应区域播放多媒体内容库；

S3、使用阅读笔照射印刷品封面页，图像采集组件采集封面页的局部图像，处理器对局部图像进行特征点提取，将提取到特征点与封面页特征库进行匹配，获得印刷品信息；

S4、使用阅读笔照射印刷品内容页的页码位置，图像采集组件采集到页码图像，处理器对页码图像中的数字进行OCR识别，获得页码信息；或者通过阅读笔照射印刷品内容页，图像采集组件采集内容页的局部图像，处理器对局部图像进行特征点提取，将提取到的特征点与内容页特征库进行匹配，所采集的局部图像可以得到明确可信的匹配结果来确定内容页的页码信息。本步骤的目的是缩小感兴趣区域在内容页特征库的搜索范围，提高搜索速度和提高检索的精度。

S5、使用阅读笔照射印刷品内容页上感兴趣的区域，处理器对区域图像进行特征点提取，将提取到特征点与内容页特征库进行匹配，根据匹配结果获得感兴趣区域位置信息，如在没有通过S4缩小搜索范围的前提下能得到明确可信的匹配结果S4步骤可以跳过。

S6、基于S5的位置信息，获取S2中对应位置预置的多媒体文件，并对多媒体文件进行播放。

进一步地，所述步骤S1、S3及S5中的特征点提取通过以下方法实现：

提取尺度不变、旋转不变、亮度变化鲁棒、噪音和视角变化稳定的特征点。

对特征点进行描述，获得特征描述子。

优选地，如阅读笔内置的处理器算力充足则所述的利用关键点检测算法提取特征点具体为：

将原始图像不断降阶采样，得到一系列大小不一的图像，并进一步对这些图像进行不同尺度的高斯滤波，同一图像的相近尺度高斯滤波后两个图像相减，得到高斯差分图像，进行极值检测，满足曲率条件的极值点即为特征点。