[发明专利]一种多视点图像的预处理方法

说明书

技术领域

本发明涉及一种多视点图像的处理方法，尤其是涉及一种多视点图像的预处理方法。

背景技术

在真实世界中，观察者所看到的视觉内容取决于观察者相对于被观察对象的位置，观察者可以自由地选择各个不同的角度去观察和分析事物。在传统的视频系统中，真实的场景相对于一个视点的画面是由摄像师或导演选择决定的，用户只能被动地观看摄像机在单一视点上所摄制的视频图像序列，而不能自由选择其它视点来观察真实场景。这些单方向上的视频序列只能反映真实世界场景的一个侧面。自由视点视频系统可以使用户自由地选择视点去观看真实世界场景中的一定范围内的任意侧面，被国际标准组织MPEG(Moving Picture Experts Group：运动图像专家组)称为下一代视频系统的发展方向。

多视点视频图像技术是自由视点视频技术中的一个核心环节，它能提供所拍摄场景的不同角度的视频图像信息。图1为多视点平行相机系统成像示意图，其中n+1个相机(或摄像机)被平行地放置以拍摄多视点视频图像。利用多视点视频信号中多个视点的信息可以合成用户所选择的任意视点的图像信息，达到自由切换任意视点图像的目的。但是由于在采集过程中各相机的基线不在同一水平轴，场景光照、相机CCD噪声、快门速度和曝光等要素不一致，会导致不同相机采集的图像的颜色值差别很大，并且在垂直方向会发生几何位置的偏移，给后续的视频编码、虚拟视点绘制和多视点视频三维显示带来了极大的困难。

针对上述存在的问题，目前提出了一种典型的多视点图像处理的方法，如图2所示，对多个相机采集得到的多视点图像，先进行预处理操作，包括颜色校正和几何标定，然后对预处理后的图像再进行编码，最后在解码的视点间绘制虚拟视点图像。

区域匹配或直方图匹配是通常采用的颜色校正手段，区域匹配通过将目标图像和源图像进行聚类分割，在最相似的区域间建立颜色映射关系，并以此映射关系对源图像进行校正；直方图匹配通过计算目标图像和源图像的累计直方图，只要满足源图像和目标图像具有相同的直方图分布，就可以将目标图像的直方图映射到源图像。但如果多视点图像发生旋转、尺度缩放、视角变换、光照变换等变化，或由于遮挡、噪声等因素的影响，区域匹配和直方图匹配就不能保持良好的可匹配性，映射精度低。

几何标定通常需要获取相机的内部参数和外部参数来实现坐标系的变换，从而达到几何位置一致的目的，但采用这种几何标定的方法计算复杂度比较高。

发明内容

本发明所要解决的技术问题是提供一种能够有效地保证各视点图像的颜色和几何位置一致，同时提高多视点图像的编码性能的多视点图像颜色校正和几何标定方法。

本发明解决上述技术问题所采用的技术方案为：一种多视点图像的预处理方法，它包括以下步骤：

(1)将同一时刻由多视点相机系统拍摄的多视点图像中的一个视点图像定义为目标图像，记为T，而将其它视点图像定义为源图像，记为S，从目标图像中提取的目标图像关键点集合记为{^(T)P}，从源图像中提取的源图像关键点集合记为{^(S)P}，定义目标图像的平面坐标系为x′y′唑标系，定义源图像的平面坐标系为xy坐标系；

(2)通过尺度不变特征变换算法在尺度空间对目标图像和源图像进行极值检测，提取目标图像关键点集合{^(T)P}和源图像关键点集合{^(S)P}中各关键点的尺度不变特征变换特征向量；

(3)根据尺度不变特征变换特征向量，通过特征匹配算法得到源图像关键点^(S)P(x₁，y₁)在目标图像上的最佳候选匹配关健点^(T)P(x₁′，y₁′)，并在源图像上获取目标图像关键点^(T)P(x₁′，y₁′)的最佳候选匹配关键点^(S)P(x₂，y₂)，然后通过双向校验确定关键点对(^(T)P(x₁′，y₁′)，^(S)P(x₁，y₁))为匹配的关键点对；