[发明专利]一种基于显著性检测的RGB-D图像非规则缩放方法

说明书

本发明公开了一种基于显著性检测的RGB‑D图像非规则缩放方法，包括：使用显著性方法生成显著性图；加权融合显著性图、待缩放图像、深度图像的梯度图生成用于接缝裁剪的重要度图；使用Seam‑Carving算法将待缩放图像缩放成图像；以图像中心为原点建立直角坐标系水平方向为x轴，垂直方向为y轴，构建椭圆标准方程；将图像按照一、二、三、四象限分成4份；依次完成第二，三，四象限的缩放。本发明引入了深度图像信息，取得了更好的图像缩放效果，既保证了图像显著兴趣与内容又保留了背景信息的重要内容，完成图像的非规则形状缩放，在图像的非规则缩放上取得可观的效果，可以进行任意椭圆形状的非规则缩放，缩放效果更加真实美观，具备一定的理论和应用价值。

技术领域

本发明属于图像处理的技术领域，尤其涉及一种基于显著性检测的RGB-D图像非规则缩放方法。

背景技术

传统的图像缩放技术，例如最近邻域插值，双线性插值，和双三次插值方法，对图像的等比缩放可以很好的完成图像的放大和缩小，但是在改变图像长宽比时会出现显著性目标的挤压或拉伸，尤其是图像的重要信息会产生失真畸变，严重影响了视觉效果。与其相应的裁剪方法，直接截取图像中最感兴趣的区域，解决了图像失真的问题，但是不可避免的会遗漏背景信息，导致图像整体内容缺失。这种传统图像缩放技术存在缺陷的根本原因在于，在处理图像缩放的过程中仅仅考虑了图像缩放后的输出大小，只满足了几何限制，在图像内容信息上没有做太多思考，机械地按照目标尺寸进行图像缩放，因此出现显著性目标失真，背景内容缺失是必然的。

为了解决传统图像缩放方法的不足，在2007年Avidan和Shamir提出了基于内容感知的图像缩放方法(Seam-Cavring算法)，该方法使用梯度图作为图像的能量图，以此来对图像做重要度区分，能量高的区域被认定为重要区域，能量低的区域被认定为背景区域。其中心思想是在能量图中动态规划出具有最小能量的8连通接缝，通过增加或移除该接缝完成图像缩放，从而使重要度高的区域会保持原有特征，重要度低的区域吸收缩放过程中的扭曲和形变。与传统图像缩放技术相比，Seam-Cavring算法感知了图像内容的重要度，即使图像缩放的纵横比不一致时也可以维持图像重要内容不会失真，并且可以连续快速地完成不同尺寸的图像缩放。但是对于一些背景复杂的图像，Seam-Cavring会造成图像背景的畸形，还会丢失背景信息等问题，具有一定的局限性。因此图像缩放主要攻克难题为在保证图像重要内容不失真的情况下，保留完整的背景内容，使缩放后的图像不会畸变。

随着社会的发展，人们对于图像的要求不仅仅满足于图像的矩形形状，在特定情况下用户更希望能得到非矩形形状的图像来表达出一种创意。Shaoyu Qi等人从图像的内容和图像形状的角度出发，提出了CASAIR(Content and Shape-Aware ImageRetargeting)算法，该算法可以将图像重定向成非矩形形状。受到Seam-Cavring算法的启发，CASAIR算法采用基于接缝段雕刻的思想，从图像中连续删除能量值低的接缝段以同时实现内容感知识别和图像形状的改变两个目标。由于图像边界要求是非矩形的，因此要从图像的每一行(或每一列)中删除的像素数不再恒定，而是取决于目标形状，这自然导致了CASAIR算法在执行过程中删除的是接缝段而不是一条接缝，其中的接缝段是可以在图像的任何两行(或列)中开始和结束的接缝，若干个这样的接缝组成上述的接缝段。CASAIR算法已在实际中得到应用，使用此方法开发了智能相机投影仪系统。与Seam-Cavring算法相比，CASAIR算法能够在保持图像内容的基础上完成图像的非规则缩放，但是其问题在于CASAIR算法对缩放图像的大小都有严格的限定，能够完成的非规则缩放形状尺寸固定，缺少灵活性，而且在去除接缝段的过程中，很容易把重要内容去除，例如，低能量的接缝段中可能包含能量值较高的像素点，类似的接缝段的移除会就会导致图像的内容缺失。