[发明专利]图像处理装置、图像处理方法和程序

说明书

技术领域

本公开涉及一种图像处理装置、图像处理方法和程序，更具体地涉及一种用于生成应用于三维（3D）图像显示的多视点图像的图像处理装置、图像处理方法和程序。

背景技术

裸眼型3D显示装置已经投入使用。裸眼型3D显示装置在三维（3D）图像显示处理中允许用户在不佩戴眼镜的情况下感知立体图像。裸眼型3D显示装置例如在显示器表面上包括透镜板或者视差屏障（parallax barrier），其根据视听位置控制进入左眼和右眼的图像。

然而，使用这种方法，仅可以在相对于显示器的有限的视听位置获得正确的立体视图。因此，当用户的观看位置位于不同于指定位置的位置时，出现倒视（reversed vision）和串扰。在倒视中，右眼图像进入左眼，左眼图像进入右眼。在串扰中，左眼图像和右眼图像混合。

为了解决该问题，提出了如下配置：不仅生成并显示与常规观看位置相对应的标准左眼图像和标准右眼图像，还生成并显示被配置为从其它观看位置观看时不产生任何串扰的新视点的图像。

不仅生成原始的左眼图像和右眼图像的组，还生成其它虚拟视点的图像作为多视点图像，并且可以根据观看位置从这些多视点图像中选择根据用户的观看位置的合适的左眼图像和右眼图像的组，由此在减少倒视和串扰的情况下显示图像。

换句话说，这允许用户根据用户的观看位置观看不同的左眼图像和右眼图像对，从而即使当用户的观看位置改变时，这允许观看者的左眼和右眼根据每个观看位置观看左眼图像和右眼图像。

更具体地，基于输入到显示装置或者图像处理装置的针对两个视点的原始图像，即，包括用于3D图像显示的左眼图像（L图像）和右眼图像（R图像）的双视点图像，除了这两个视点之外，还生成针对虚拟视点的视点图像。例如，生成包括原始LR图像的针对十个不同的视点的多视点图像。

根据用户相对于显示器的观看位置，用户观看所生成的多视点图像中合适的两个图像的组合，由此可以显示3D图像，并且可以在各个观看位置处在减少左眼图像和右眼图像混合的串扰的情况下观看3D图像。

例如，日本专利申请特开第2006-115198号公开了如下方法：输入原始左眼图像（L图像）和原始右眼图像（R图像），根据这两个图像执行视差检测，并且基于检测到的视差信息生成针对多个虚拟视点的图像。更具体地，根据包括左眼图像（L图像）和右眼图像（R图像）的两个接收到的原始3D图像检测视差，并且基于串扰的量和融合视差范围确定与接收到的LR图像不同的虚拟视点位置。

然而，在该日本专利申请特开第2006-115198号中描述的处理中，不考虑所生成的虚拟视点图像的质量，并且在该日本专利申请特开第2006-115198号中描述的处理被配置为使用左眼图像和右眼图像的中心作为基准来确定虚拟视点位置。因此，所生成的虚拟视点图像的质量降低，并且可能显示可能几乎观看不到的图像。

在虚拟视点位置和图像质量之间存在密切关系。

例如，在接收到的L图像的视点位置是0.0，而接收到的R图像的视点位置是1.0的情况下，针对新生成的虚拟视点的图像和其图像质量之间的关系具有以下特征。

（特征1）在0.0和1.0之间，即在L图像（0.0）和R图像（1.0）之间的虚拟视点位置，作为LR图像的中心位置的0.5的虚拟视点图像与其它虚拟视点位置相比具有最低的图像质量。

（特征2）在L图像左侧或者在R图像右侧的等于或小于0.0以及等于或大于1.0的虚拟视点位置，位置距离L图像或R图像越远，视频的质量变得越低。

例如根据视差检测的精确度和包含在图像中的遮挡区域的量，得出该虚拟视点位置和图像质量之间的关系。

注意，当视点位置是0.0时，可以按原样使用接收到的原始左眼图像，并且在视点位置1.0处，可以按原样使用接收到的原始右眼图像。因此，在这些位置，图像质量最高。

日本专利申请特开第2006-115198号提出了如下方法：检测接收到的原始左眼图像（L图像）和接收到的原始右眼图像（R图像）的3D图像中的最大视差量，并且确定虚拟视点位置，使得最大视差包含在串扰量和融合视差范围内。换句话说，其公开了确定根据接收到的LR图像的最大视差量生成的虚拟视点图像的视点间隔的方法。

然而，当根据原始LR图像检测最大视差时，不考虑具有最大视差以及图像区域吸引注意力的可能性最高的图像区域中的图像。因此，例如，出现以下问题。