[发明专利]图像处理装置、拍摄装置、视频播放系统、方法以及程序

说明书

本发明提供一种图像处理装置。图像处理装置(110)对包含连续图像的视频进行处理，该连续图像是以至少包含绕规定轴的角度坐标的坐标系表示的。图像处理装置(110)包括：获取视频数据的视频数据获取单元(212，214，220)；获取与视频数据对应的传感器数据的传感器数据获取单元(216，218，224，226)；和旋转修正单元(230)，旋转修正单元(230)基于传感器数据，对所述图像实施消除绕基准轴的旋转变化的修正，以使视频的多个帧中的图像的显示基准被固定在拍摄中的特定方向上。

技术领域

本公开涉及图像处理装置、拍摄装置、视频播放系统、方法以及程序。

背景技术

近年来，能够对拍摄地点的全方位进行视频拍摄的全天球相机正在普及。在这样的全天球相机中，除了在固定的状态下进行拍摄之外，还设想用户一边手持移动一边拍摄视频的情况。也已知在此时修正全天球相机的手晃动或倾斜使其成为晃动少的视频的修正技术。

全天球相机拍摄的全天球视频中通常存在视听者视听全天球视频时的初始的正面方向。一般而言，视听时的正面方向追随全天球相机拍摄时的全天球相机的正面方向(例如，双眼情况下的一个镜头的正面方向等)。但是，在视听时的正面方向追随拍摄时的全天球相机的动作的情况下，根据拍摄者的拍摄条件显示的影像大幅变化，在视听时有可能使视听者产生眩晕。

例如，在拍摄者将全天球相机固定在头部进行拍摄的情况下，若视听时的正面方向追随拍摄时的全天球相机的动作，则若拍摄者摇头而观察周围，则全天球视频大幅旋转，成为使视听者产生晕眩的主要原因。此外，全天球视频大幅旋转也有可能导致非常难以看到视频本身。另外，除了将全天球相机固定于头部进行拍摄的情况之外，即使手持，拍摄中正面方向大幅变化的情况也是如此。

日本特开2017-147682号公报(专利文献1)公开了如下结构：针对图像数据，全局坐标中的水平面内的摇晃除去微小摇晃分量进行修正，由此进行坐标变换，从而生成全天球图像。但是，虽然关于绕铅直方向轴的旋转修正摇晃的高频分量，但由于追随拍摄者摇头观察周围这样有意的动作，因此在视听时使视听者产生晕眩这一点上并不充分。

技术问题

本公开是鉴于上述问题而完成的，本公开的目的在于提供一种图像处理装置，其能够抑制视频的视听时因拍摄中绕基准轴的旋转而产生的视听者的眩晕。

技术解决方案

在本公开中，为了应对上述课题，提供一种图像处理装置，其具有以下特征，对包含连续图像的视频进行处理，该连续的图像是以至少包含绕规定轴的角度坐标的坐标系表示的。该图像处理装置包括获取视频数据的视频数据获取单元和获取与视频数据对应的传感器数据的传感器数据获取单元。该图像处理装置还包括旋转修正单元，该旋转修正单元基于传感器数据，对图像实施消除绕基准轴的旋转变化的修正，以使视频的多个帧中的图像的显示基准被固定在拍摄中的特定方向上。

有益效果

根据上述结构，能够抑制视频视听时因拍摄中的绕基准轴的旋转而产生的视听者的眩晕。

附图说明

图1是构成本实施方式的全天球视频系统的全天球相机的截面图。

图2是说明将本实施方式的全天球相机固定到头部的情况的图。

图3是本实施方式的全天球视频系统的硬件结构图。

图4是与在本实施方式的全天球视频系统上实现的全天球视频播放功能相关联的主要功能框图。

图5中，(A)是全天球图像的生成中的图像数据流图，(B)是使用平面，(C)是使用球面来表示全天球图像的数据结构的情况进行说明的图。

图6是对本实施方式的全天球图像的天顶修正和旋转修正进行说明的图。