[发明专利]一种关联书本与电子资源的系统

说明书

技术领域

本发明涉及教育信息化技术领域，具体涉及一种关联书本与电子资源的系统。

背景技术

随着信息技术的发展和普及，越来越多的书本配套了电子资源(包含音频、视频、游戏、增强现实和其他应用软件等)。这些电子资源以其呈现形式多样、图文并茂、形声并举的优点来提升传统纸质书本的表现力和感染力。然而，在书本与电子资源未建立自动化关联的情况下，要访问与书本内容对应的电子资源并非不方便。以访问书本配套视频为例，用户需要首先找到与书本对应的光盘或视频文件，使用媒体播放器打开该光盘或视频文件，然后使用快进或快退来定位与书本页面内容相对应的视频位置。访问书本配套视频通常需要花费数分钟的操作时间，对于幼儿和老人来说甚至难以完成该操作。

现阶段主要有两种技术来建立书本与电子资源的关联：(1)使用文字关联；(2)使用“点读笔”技术关联。使用文字关联要求使用者具备使用键盘或语音输入文字的能力。然而大多数幼儿或老人不具备这一能力。即使能熟练输入文字，若使用者用文字描述的书本内容与数据库中标注的文字存在语义差异，也会导致关联失败。使用“点读笔”技术可以克服文字关联方法的上述的缺点，用“点读笔”点击书本即可快速访问对应内容的音频资源。然而，要使用“点读笔”，对应的书本需要事先使用特殊底纹的纸来印刷。这使得已经印刷的书本无法使用这一关联技术。此外，“点读笔”技术目前主要的产品形态为硬件，一方面成本较高，不利于普及；另一方面，也不利于扩展其应用范围。

发明内容

针对现有技术的缺陷，本发明提供一种关联书本与电子资源的系统，其目的在于，使用摄像头拍摄书本页面图像，利用计算机视觉技术将其与电子资源样例图像进行匹配，完成纸质书本与电子资源的关联和自动访问，以方便电子资源的使用。

一种书本与电子资源关联系统，包括：图像采集单元、书本页面识别单元和电子资源映射单元，其中，

图像采集单元用于利用摄像头拍摄书本页面图像；书本页面识别单元用于将图像采集单元拍摄的书本页面图像与电子资源所关联的样例图像进行匹配，以识别书本页面；电子资源映射单元提供样例图像与电子资源的映射关系，并提供对电子资源对应内容的自动访问；

所述书本页面识别单元包括：图像分割模块，用于对图像采集单元采集的图像进行分割，剔除背景部分，保留图像中的书本页面部分；图像矫正模块，用于对分割后的图像进行几何畸变和颜色失真的矫正；特征码提取模块，用于从矫正后的图像中提取图像识别特征码；特征码压缩模块，用于采用降维算法压缩特征码的长度，以降低存储空间和提高运算效率；样例图像特征码库，用于保存电子资源样例图像的压缩特征码；特征码匹配模块，用于计算采集图像的压缩特征码与样例图像特征码库中的各个特征码的相似度，并取相似度排序前N名的特征码所对应的样例图像作为书本页面识别结果。

进一步地，所述图像分割模块包括粗略分割子模块和精细分割子模块；

粗略分割子模块用于使用预设的目标包围框作为输入，采用分类规则来对图像进行预先分割：如果则将坐标为(x,y)的像素点分类为目标，其中，H_O表示由预设目标包围中的像素统计得到的未归一化的图像直方图，H_B表示由预设目标包围外的像素统计得到的未归一化的图像直方图，b(x,y)表示坐标为(x,y)的像素在直方图中的bin，τ_s为阈值；

精细分割子模块用于在对图像进行粗略分割后，使用最小二乘法求取一个新的目标包围框，使用新的目标包围框作为输入，并采用GrabCut或DenseCut算法对粗略分割后的图像进行精细分割。

进一步地，所述预设目标包围框使用下面两种方式之一确定：

方式1)使用固定的目标包围框：将拍摄图像正中与上下边界距离为n₁h、与左右边界距离为n₂w的矩形区域作为目标包围框，其中w、h分别为图像的宽和高，n₁、n₂为参数；

方式2)通过交互界面来预设：在交互界面上显示一目标包围框，要求用户通过移送摄像头将书本页面置于包围框之中。

进一步地，所述图像矫正模块包括几何畸变矫正参数求解子模块、颜色矫参数求解正子模块和矫正子模块；

几何畸变矫正参数求解子模块用于首先通过最小二乘拟合法从图像分割模块的分割结果轮廓上拟合一个四边形，四边形的四个顶点记为并预设几何矫正后的图像为宽为w^s、高为h^s的矩形，其四个顶点为然后分别将四组点对代入下式中：