[发明专利]处理360度图像内容的方法和系统

说明书

提供了一种用于处理由360度相机捕获的360度图像内容的装置和方法。一种方法包括：通过电子设备获得与所述360度图像内容相关联的360度投影格式图像帧的序列和与所述360度图像内容相关联的惯性测量单元(IMU)旋转数据；通过所述电子设备计算所述360度图像内容的相对旋转；以及通过所述电子设备将所述相对旋转应用于所述360度投影格式图像帧中的至少一个，从而稳定360度图像内容。

技术领域

本公开总体上涉及图像处理系统，更具体地涉及一种用于处理360度图像内容的方法和系统。

背景技术

当电子设备的用户捕获360度视频时，电子设备可能会倾斜并经受意外的震颤。因此，捕获到的没有垂直对齐的360度视频可能会给用户带来不愉快的观看体验。

此外，从惯性测量单元(IMU)传感器(例如，陀螺仪和加速度计)获得的旋转信息是有噪声的并且能产生延迟。存在基于计算机视觉的方法和系统以稳定360度视频，但是所得到的稳定的360度视频仍不能有效地进行倾斜校正。用于倾斜校正的基于计算机视觉的方法和系统要么难以实时实现，要么在没有垂直或水平边缘的场景下准确性通常较低。

此外，用于捕获360度视频的现有方法和系统具有许多瓶颈，即丢失了行进信息(例如，方向信息等)。

例如，在通过将后续帧相对于第一帧对齐来稳定360度视频的场景中，如果有人骑着其上安装有360度视频相机的自行车上沿弯道骑行，一段时间之后，稳定的视频的向前方向将会与道路不匹配了，这会带来糟糕的用户体验。

作为另一个示例，如果用户在视频开始时无意中与垂直方向成45度持有相机，则360度视频可能不会垂直对齐。因此，稳定的视频将保持45度倾斜，而观看者(例如，使用虚拟现实(VR)护目镜)将不得不倾斜头部才能观看视频。这也会导致不良的用户体验。

发明内容

问题的解决方案

因此，提供本公开以至少解决上述问题和/或缺点并至少提供以下优点。

本公开的一方面在于提供一种用于处理360度图像内容的方法和装置。

本公开的另一方面在于提供一种方法和装置，该方法和装置获得与所述360度图像内容相关联的360度投影格式图像帧的序列和与所述360度图像内容相关联的IMU旋转数据，其中所述360度图像内容由360度相机捕获。

本公开的另一方面在于提供一种方法和装置，该方法和装置通过跟踪所述360度投影格式图像帧的每一个中的一组特征点，确定所述360度投影格式图像帧的每一个相对于第一360度投影格式图像帧的第一相对旋转角。

本公开的另一方面在于提供一种方法和装置，该方法和装置通过使用所述IMU旋转数据，确定所述360度投影格式图像帧的每一个相对于所述第一360度投影格式图像帧的第二相对旋转角。

本公开的另一方面在于提供一种方法和装置，该方法和装置确定所述360度投影格式图像帧的每一个的个体偏移。

本公开的另一方面在于提供一种方法和装置，该方法和装置通过计算所述360度投影格式图像帧的每一个的所述个体偏移值的几何中值或通过使用信号处理滤波器连续预测通用偏移来估计所述通用偏移。

本公开的另一方面在于提供一种方法和装置，该方法和装置确定所述360度投影格式图像帧的每一个的个体偏移，作为相对旋转角与IMU旋转角之间的差的量度。

本公开的另一方面在于提供一种方法和装置，该方法和装置计算所述360度图像内容的相对旋转。

本公开的另一方面在于提供一种方法和装置，该方法和装置对所述360度投影格式图像帧中的每一个应用相对旋转以稳定360度图像内容。

本公开的另一方面在于提供一种方法和装置，该方法和装置估计连续帧的偏航值之间的角度差值。