[发明专利]图像处理装置、图像处理系统、图像处理方法和存储介质

说明书

本公开提供图像处理装置、图像处理系统、图像处理方法和存储介质。本公开的技术能够改善物体形状。本公开的图像处理装置获得基于通过多个摄像装置获得的多个拍摄图像生成的物体的三维形状模型，并且基于参考模型校正所获得的三维形状模型。

技术领域

本公开的技术涉及用于根据使用多个摄像装置彼此同步拍摄的多个图像来生成虚拟视点图像的技术。

背景技术

近年来，如下技术正引起关注，该技术涉及将多个摄像装置安装在不同的位置，从多个视点彼此同步地拍摄单个物体的图像，并使用通过该摄像而获得的多个图像来生成如从任意期望的虚拟视点观看的物体的虚拟视点图像。日本特开2008-015756号公报公开了一种用于生成这种虚拟视点图像的技术。

如上所述的虚拟视点图像使得观看者能够从各种角度观看例如足球比赛或篮球比赛中的精彩场景，并且因此可以为观看者提供比通过摄像装置拍摄的正常图像更高的临场感。

此外，除了增强临场感之外，该技术还使得观看者能够在影响比赛状况或判断的场景中，在没有诸如运动员的其他物体遮挡诸如球的关注物体的情况下检查该关注物体。例如，通过将虚拟视点设置在球和线都可见且不会被运动员遮挡的位置，可以诸如在难以判断球在线内还是线外时，为观看者提供清晰地拍摄可疑场景的瞬间的虚拟视点图像。

然而，在任意安装的摄像装置的视线中关注物体被其他物体遮挡的情况或其他类似情况下，基于多个图像生成的关注物体的三维形状模型可能会变形或丢失其轮廓的一部分。结果，可能以低再现精度生成虚拟视点图像。

鉴于此，本公开的技术的目的是提高物体形状的精度。

发明内容

本公开的技术包括：获得单元，其被构造为，获得基于通过多个摄像装置获得的多个拍摄图像生成的物体的三维形状模型；以及校正单元，其被构造为，基于参考模型校正所获得的三维形状模型。

通过以下参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。

附图说明

图1是实施例1中的图像处理系统的整体构造图；

图2是图像处理装置的硬件构造图；

图3A是示出实施例1中的事件信息的示例的图；

图3B是示出实施例1中的事件信息的示例的图；

图4A是示出实施例1中的参考模型信息的示例的图；

图4B是示出实施例1中的参考模型信息的示例的图；

图4C是示出实施例1中的参考模型信息的示例的图；

图5A是示出实施例1中的3D模型信息的示例的图；

图5B是示出实施例1中的3D模型信息的示例的图；

图5C是示出实施例1中的3D模型信息的示例的图；

图6A是示出实施例1中的用户终端的示例画面的图；

图6B是示出实施例1中的用户终端的示例画面的图；

图6C是示出实施例1中的用户终端的示例画面的图；

图7是实施例1中的拟合处理的流程图；

图8是实施例1中的获得目标模型的处理的流程图；

图9是实施例1中的获得参考模型的处理的流程图；

图10是实施例1中的校正目标模型的处理的流程图；

图11是实施例1中的绘制处理的流程图；

图12是实施例2中的拟合处理的流程图；