[发明专利]一种基于即时计算与动态追踪的视觉体验增强方法

说明书

技术领域

本发明涉及图片处理领域，涉及视觉体验领域，涉及现实增强领域。

背景技术

随着计算机和信息技术的不断发展，计算机的应用形式与应用范围发生着巨大变革。伴随着计算机的功能拓展，移动终端的硬件升级，以及现实增强的概念与技术的普及，我们可以预见在不久的将来，视觉体验增强将是一个热门的研究方向。而近年来便携式移动终端硬件的升级，使其能够承载很大的计算量，非常适合作为视觉体验增强的实现载体。这让平面媒体上的静态图像动起来称为可能。

当今社会的普遍资料获取方式还是纸质资料，虽然电子资料的普遍化与网络化带来了信息的大量共享，却依旧存在着携带不便、分享不便、查看繁琐等问题。而对于大量的文字、图片类资料，很多时候我们并不能够获取完整的信息。通过图像处理技术实现动态的视觉体验增强，就可以很好的解决这个问题。

发明内容

本发明的技术解决问题是：通过多场景适应性匹技术和普适性主体锁定跟踪技术，在移动终端上，使动态信息替换静态信息，达到“融入现实”的目的，从而实现视觉体验增强的效果。

本发明技术解决方案：一种基于即时计算与动态追踪的视觉体验增强方法，其特征在于使用多场景适应性匹配方法，和普适性图像主体的跟踪方法，通过在移动设备摄像头视野内将静态信息替换为动态信息，实现动态信息融入现实的目的，从而达到视觉体验增强的效果。

(一)通过多场景适应性匹配和普适性主体锁定跟踪实现移动设备上视觉体验增强效果。

移动设备上视觉体验增强效果的实现是基于这样一个思路：通过移动设备的摄像头将当前实景展示在设备屏幕上，同时软件后台将当前的摄像头帧数据上传至服务器，服务器通过多场景适应性匹配来检索数据库，得到当前帧数据匹配的动态信息(一般为图片匹配的视频)并回传至客户端，客户端收到动态信息后，锁定当前摄像头范围内的静态图片进行跟踪播放动态信息，简单可以描述为它通过对图像的识别，反馈图片对应的动态信息，在移动端播放，同时锁定图像，跟踪主体的位置，使动态信息正确的覆盖图像，达到动态信息替换静态信息的目的，实现动态的视觉体验。

(二)图像的多场景适应性匹配

在数据库中我们将图片与其对应的动态信息绑定，以图片来索引动态信息进行检索，通过图像识别，搜到图片对应的动态信息。但是由于我们目前能接触到的图像检索技术仍旧非常的粗浅，不论是Google还是百度等公司的常见图像搜索都是用的较为简单的算法，只能实现很相似的图之间的匹配。但我们所需要的算法是能够实现多场景适应性匹配。所以我们基于OpenCV库编写了符合我们需求的，可以实现多场景适应性匹配，效率可以接受的的图像模糊匹配算法。多场景的适应性匹配算法主要步骤为：图像边缘提取——轮廓匹配——模式匹配——SIFT特征检测与比较。具体的实现方法与细节如下(可参考图1)：

1)图像边缘提取

由于我们的目的是实现模糊匹配，所以有必要过滤掉图片中不相关的细节，因此我们需要提取图像边缘，消除光线对物体颜色的影响，以及大背景对模糊匹配的影响。

这一步的实现主要使用了Canny算子，通过对图像去噪声，亮度梯度检测，边缘跟踪，来实现边缘的提取。

我们先获取无附加响应的最优检测，目的是减少噪声响应。再检测边缘位置和实际边缘之间距离最小的正确定位，目的是确定边缘检测的正确性。最后减少单边缘的多重响应而得到单响应，目的是限制单个边缘点对于亮度变化的定位。通过这个流程来实现边缘的提取。

2)轮廓匹配

轮廓匹配是最基础的匹配，由于其效率很高，因此可以用来筛选掉完全不相关的图片，大幅度减小搜索范围，提高整体的算法效率。

主要实现方法是比较不同轮廓的HU不变矩，我们首先计算每个图像的HU不变矩，之后通过检查不同轮廓的HU不变矩的差异来比较相似性。

比较公式是I(A，B)＝重要的比较公式是

其中，A，B分别指代两个待比较图像，

其中，是A和B的HU矩，sign是求符号函数；

其中，A，B分别指代两个待比较图像，通过逐一的比对，得到HU不变矩差距在一定阈值范围内的图像，为进一步的确定搜索范围。

3)模式匹配

模式匹配是核心，用来检索最终的匹配图片。主要是以要搜索的图片为模板，在轮廓匹配确定的范围内，对模板进行匹配，获取最相似的结果。

这一步主要使用了离散傅里叶变换，傅里叶乘法。核心是通过利用卷积和乘法之间的对偶性，借助傅里叶变换来实现。