[发明专利]基于感兴趣区域的幅型比变换方法

说明书

技术领域

本发明属于视频图像处理领域，涉及一种在不同幅型比的视频图像之间进行格式转换的方法，可以应用于高清电视的格式转换，窄屏幕电视画面与宽屏幕电视画面之间的转换等。

背景技术

随着新的多媒体技术和视频显示设备的产生，在播放视频图像时，为了满足不同比例显示设备的播放要求，需要对视频图像的空间尺寸进行缩放。幅型比就是指电视画面宽度和高度的比值。幅型比变换技术就是试图对视频图像的空间尺寸进行缩放处理以适应不同显示设备的格式，从而获得较好的播放效果。由于在相当长的时间内会存在不同幅型比混合处理的问题，因此，该技术已成为视频图像处理领域中的一个研究热点，并已广泛应用于电视、电影及视频多媒体等需要对视频信号进行格式转换的多个领域。虽然幅型比变换技术已经取得了迅速的发展，但在目前的技术水平下仍需要在方法的设计中做出某些改进，改进后的方法将会提高变换后的图像与人类视觉感知的一致性，使转换后图像的视觉效果更好。

目前幅型比变换的方法主要有两大类：一类是无图像失真而损失图像的部分内容或浪费屏幕部分资源的方式，另一类是保证了图像内容的完整但引起图像失真的方式。

第一类方法主要有贴黑边，裁减和移位，贴黑边和裁减组合。贴黑边的处理方式是在图像的左右或上下两侧填加黑边，保证原有幅型比的图像在不同幅型比的显示设备上能够完整地显示出来，不损失原图像的内容，并且没有变形失真。但这种方式对于显示器的显示区域会造成一部分空耗，且观看效果不佳。裁减和移位的方式是将图像的左右或上下裁去两条，并根据画面的内容对图像进行上下或左右移位处理，尽量使原图像的主景或重要内容保持在变换后的画面中。这种方式没有引起图像的失真，但损失图像的内容，并且需耗费大量的人工。贴黑边和裁减组合的方式是结合贴黑边和裁剪两种处理方式，是为了平衡保留图像内容和提高新画面利用率这两种互相矛盾的需求，不会造成图像失真，但仍然损失图像内容和浪费屏幕资源。

第二类方法可分为线性变形的变换法和非线性变形的变换法。线性变形变换就是利用插值算法直接变换图像的宽高比，以达到所需幅型比的要求。线性变形变换由于实现起来较简单，所以目前被大部分的高清电视所采用。但是，由于图像的宽与高的变换比例不一致，此变换方法使得变换后的整体图像有明显的失真，影响视觉效果。非线性变形的变换方式是基于人的视觉感知特性进行变换的，且综合考虑幅型比变换前后的比例要求和变换后观看效果之间的平衡。

Zhang Guanglie等人提出了利用序列的运动重心来划分不同区域并进行非均匀比率扩展的非线性变形变换方法“Zhang Guanglie，Zheng Nanning，Chen Qian，et al.Motion adaptive video format conversion from 4:3to 16:9images[C]//Proceeding of International Conference on Intelligent Information Technology，Beijing，China，Sep.2002：181-184.”，该方法对于简单运动的视频序列效果较好，但是不适用具有多个运动目标的视频序列，且易造成变换后的视频序列在视觉上的抖动现象，视觉效果明显下降。Shih-Chang Hsia等人提出了基于中心区域的非线性变形的变换方法“Hsia S C，Liu B D，Yang J F，et al.A parallel video converter for displaying 4:3images on 16:9HDTV receivers[J].IEEE Transactions on Circuits and Systems for VideoTechnology，1996，6(6)：695-699.”，该方法对于目标物集中在中心区域的序列，有较好的视觉效果，但是对于目标物并不全集中在中心区域的序列，该方法会使处于边缘区域的目标物产生更大的失真，影响画面的和谐。从保持原视频的完整性、屏幕资源的利用率以及画面的和谐度等几个因素来综合考虑，现有幅型比变换的方法均有一定的缺陷。

发明内容

本发明的目的在于：解决第一类方法中保持图像内容完整和提高新画面利用率之间的矛盾，提供一种基于感兴趣区域的幅型比变换方法及装置，利用人的视觉特性，避免线性变形引起的视频帧的整体失真，保持画面的和谐和视频的连续，改善变换后的视觉效果。