[发明专利]一种基于网格形变最优化的图像非均匀映射方法

说明书

技术领域

本发明涉及图像处理技术领域中基于内容感知的图像缩放技术，具体涉及一种基于网格形变最优化的图像非均匀映射方法的研究及实现。

背景技术

随着互联网技术的快速发展以及数字设备硬件水平的不断提高，适用于不同网络的终端设备不断更新换代，例如电视、笔记本电脑、PDA、手机等，它们具有不同类型的显示尺寸，例如，目前主流的大屏智能手机的屏幕比例为5:3或16:9，手持平板电脑的屏幕比例大多为16:10，还有ipad始终如一的保持着4:3的屏幕比例等等。然而，大多情况数字图像都是以某一尺寸和宽高比例制作而成，然而当在不同类型的数字设备上去显示它们时，通常需要改变它们的尺寸和宽高比，来适应各种不同尺寸的显示设备。传统的图像缩放方法主要分为3种，其中一种是将原始图像通过插值或下采样得到目标尺寸的图像，这就是所谓的均匀缩放Scaling技术，然而当需要改变图像宽高比来进行均匀缩放时，它往往会造成图像主要内容的拉伸变形。另一种方法就是简单的裁切Cropping技术，它通过裁掉图像边缘内容来得到目标尺寸，这会带来较多内容信息的丢失。第三种方法就是选择图像宽度或高度的最小缩放比例作为整体缩放比例来对原始图像进行等比缩放，这种做法也被称作“信箱”letterboxing技术，它的问题在于经常会在设备上下或左右两边产生黑色边框，不能充分的利用移动设备有限的屏幕资源。上述3种传统的缩放方法都没有考虑图像的内容。为了使用户能够在终端设备上更舒适地观看图像，需要根据图像内容的重要程度对其进行缩放处理，来自适应于不同网络类型、不同尺寸、不同比例的终端显示设备。那么基于内容感知的图像缩放技术就是用来解决如何将图像更好的显示在多样化的数字设备上的问题。

2007年以后基于内容感知的图像缩放技术得到很大的发展，可通过三种途径来改变图像的大小：根据图像像素的重要度删除或复制像素、聚合或扩张像素以及两种方法相结合的方式，因此可将其大致分为三类方法。一类是以细缝裁剪Seam Carving为代表的离散方法，另一类是以非均匀映射Warping为代表的连续方法，还有一种就是多种操作相结合的方法。基于内容感知的缩放技术最大的优点就是通处理图像中不引人注意的像素内容来改变图像的尺寸，最大限度的保护重要区域不发生形变，同时尽可能的保留原始图像的全局信息。

基于细缝裁减的离散方法是对图像进行像素级的离散操作，在保留重要区域的同时不断的删除或复制不重要的像素细缝来改变图像的尺寸。其特点是能够最大限度的保持图像中的重要区域，去除最低能量区域。但是当图像中的不重要信息去除到一定程度后，继续采用细缝裁减方法势必会带来重要信息的损失和对象变形，从而导致图像视觉质量快速下降。虽然该类算法的离散性更能体现处理过程的灵活性，但是也更容易破坏图像中的结构信息而且会产生锯齿现象即得到不平滑的结果图像。而且由于每次计算完累积能量代价矩阵后都只处理一条像素细缝，需要重复的迭代计算出若干条细缝才能实现图像的缩放，这将直接导致该类算法普遍存在时间计算复杂度比较高的问题。

非均匀映射方法主要思想是建立源图像到目标图像的最优映射，映射过程中加入一些约束条件来保护图像内容。首先根据图像内容自动确定各像素点的重要性，然后根据像素的重要性对图像进行非均匀缩放，重要区域基本上采取相似变换，而不重要区域则采取非线性变换，使得图像重要区域形变较小，而将形变扩散在非重要区域。以非均匀映射Warping为代表的连续方法多数都是通过求解带有约束条件的最优化问题来得到最优的网格变形，约束重要区域网格的形变较小并将网格变形分散在不重要区域，最后利用纹理映射技术得到结果图像.因为该方法是根据图像内容的重要度采用不同的缩放策略，利用非重要区域来“隐藏”形变，然而非重要区域的过度扭曲可能会改变图像的语义信息。另外，如果图像中没有足够的非重要区域来隐藏形变，连续方法可能会引起重要内容的变形。

考虑到不同方法固有的互补的特性，一些研究者提出将几种方法相结合来对图像进行缩放处理，简称混合方法。该问题的关键是如何确定各种操作方法的量及其操作顺序。然而在确定了多操作方法的数量及顺序后，它的难点在于如何设计出一种有效的评价度量机制来衡量目标结果图像与源图像的相似度。这种评价准则实际上也是不同混合方法的主要差别之所在。因为该类算法综合了多种方法的优点，但同时它也引入各种方法的缺点，那么如何最优结合各种方法即决定最佳的操作顺序以及操作量，需要一种有效的质量评价方法去计算源图像与目标图像的相似度来决定不同缩放方法之间的切换点。然而大多多操作方法的时间复杂度较高，那么如何去加快多操作方法的处理速度也是需要认真考虑的问题。

发明内容