[发明专利]用于生成中间视点图像的系统

说明书

技术领域

本发明涉及从立体数据生成中间图像。

立体图像是对于三维（3D）图像数据的一般表示。立体图像包括与左视点（left view）相对应的左图像和与右视点（right view）相对应的右图像。通过使用立体显示装置观看立体图像，观看者的左眼看到左图像并且观看者的右眼看到右图像，从而导致观看者的3D感知。

为了在与立体图像的左视点和右视点不同的中间视点（intermediate view）处观看3D图像，需要生成中间图像。存在用于从立体图像生成中间图像的各种方法。

背景技术

US 2011/00268009 A1描述了一种方法，用于从立体图像计算在中间视点处的中间图像以在多视点（multiview）显示器上观看。中间视点指的是在包括左视点和右视点的视点范围内的相对位置处的视点。该方法从立体图像计算左视差数据和右视差数据，所述立体图像包括左图像和右数据。该方法使用左图像和左视差数据生成针对中间视点的左中间图像。该方法使用右图像和右视差数据生成针对中间视点的右中间图像。然后通过融合（blend）左中间图像和右中间图像来生成最终的中间图像。

现有技术方法的缺点是它也在中间图像中生成可见的图像伪像（artifact），最明显的图像伪像是图像细节模糊伪像和遮挡伪像。伪像的可见度随着中间视点以及随着立体图像的内容而变化。细节模糊典型地对于包含大量细节的立体图像且在左视点与右视点之间的视点处最为可见。细节模糊的原因在于所生成的左中间图像和右中间图像的不完美混合。遮挡伪像对于包含大的深度过渡的立体图像最为可见，在侧视点（lateral view）处最明显，因而在左视点的左侧以及在右视点的右侧最明显。遮挡伪像的原因在于左图像的或右图像的不完美外推（extrapolation）。

在现有技术方法中，由于中间图像因随着中间视点以及随着立体图像的内容而变化的图像伪像而受损，所以图像质量是次优的。期望对中间图像的图像质量的改进。

发明内容

本发明的目的是提供一种用于从立体数据生成中间图像的方法，其中所述中间图像具有改善的图像质量。

本发明公开了一种用于针对中间视点从立体数据生成中间图像的方法。该方法使用根据混合（mix）策略对左中间图像和右中间图像进行的混合。混合策略将左中间图像和右中间图像在混合中的相对贡献限定为中间视点的函数。立体数据包括左数据和右数据。左数据与左视点相对应，并且左数据包括左图像和左视差数据。右数据与右视点相对应，并且右数据包括右图像和右视差数据。中间图像与中间视点相对应。左中间图像是针对中间视点而从左数据生成的。右中间图像是针对中间视点而从右数据生成的。该方法包括：基于立体数据的图像特性，针对多个混合策略中的每一个来预测中间图像的图像质量；通过基于中间图像的所预测的图像质量去从所述多个混合策略中选取混合策略而确定混合策略；并且，当所确定的混合策略如此要求时，针对中间视点从左数据生成左中间图像；并且，当所确定的混合策略如此要求时，针对中间视点从右数据生成右中间图像；以及通过根据所确定的混合策略使用相对贡献来混合左中间图像和右中间图像，而生成中间图像。

按照这种方式，本发明提供了灵活性，从而允许完全基于左中间图像、完全基于右中间图像，而且还（即，在混合策略如此指示时）如所要求保护的那样基于左中间图像和右中间图像两者来生成中间图像。

针对该方法的输入是包括左数据和右数据的立体数据。左数据与左视点相对应，并且右数据与右视点相对应。左视点和右视点限定了两个观看点，观看者从这两个观看点观看3D图像。左数据包括左图像和左视差数据。右数据包括右图像和右视差数据。该方法的输出是针对与左视点和右视点不同的中间视点的中间图像。

通过根据混合策略混合左中间视点和右中间视点来生成中间图像。混合策略过程限定了混合如何取决于中间视点。在一般情况下，混合策略限定了左中间图像在混合中的左相对贡献，并且限定了右中间图像在混合中的右相对贡献。然后，通过根据所述相对贡献使用权重去混合左中间图像和右中间图像，来生成中间图像。在混合策略仅要求生成左中间图像的第一种特殊情况下，混合有效地将左中间图像拷贝到中间图像。在混合策略仅要求生成右中间图像的第二种特殊情况下，混合有效地将右中间图像拷贝到中间图像。

使用左视差生成左中间图像，扭曲（warping）过程使用左视差数据向中间视点“扭曲”左图像，但是是仅当混合策略如此要求时。通过使用右视差过程，扭曲过程使用右视差数据向中间视点扭曲右图像，但是是仅当混合策略如此要求时。