[发明专利]视频帧处理方法，视频流播放方法及视频帧记录装置

说明书

【交叉引用】

本申请要求美国临时申请案号为61/543906（2011年10月6日申请）及美国临时申请案号为61/560411（2011年11月16日申请）的临时申请案的优先权。上述相关申请的内容一并并入此案作为参考。

【技术领域】

本发明有关于视频帧的处理，更具体来说，有关于处理具有图像配准（image registration）信息的视频帧的方法及相关装置。

【背景技术】

全景视频（panoramic video）是由描述周围场景（surrounding scene）的一系列全景视频帧组成的视频。因此，当全景视频在显示装置上播放时，观看者能够对周围场景有360度视角（360-degree view）。对于一般用户而言，创建全景视频内容并不容易。目前已经开发出用于产生全景视频的多种不同系统。举例来说，创建全景视频的传统方法可以分为四类，包括专业光学设备、同步摄像机（synchronized cameras）、全景视频纹理（texture）以及前景和背景分割（foreground and background segmentation）。然而，每种传统方法在实际实施时都存在某些缺点。专业光学设备的方法会限制所捕获场景的视频分辨率（video resolution）。同步摄像机的方法需要许多个摄像机，从而不适用于正常使用条件。全景视频纹理方法的图割算法（graph cut algorithm）需要巨大的计算量，并且在复杂移动对象场景中会产生伪像（artifact）。前景和背景分割的方法需要极好的对象分割及追踪，而即便使用立体摄像机（stereo camera），极好的对象分割及追踪在目前仍然是一个公开的难题。除了专业光学设备的方法，其他方法均需要缝合（stitch）多个视频段。

另外，缝合是生成重影（ghosting）或伪像的主要原因。目前尚无用于分析及缝合大范围不同场景而不产生重影的理想算法。此外，所有传统全景观看（viewing）系统要求裁剪和扭曲（cropping and warping）视频帧以显示正确的透视视图（perspective view）。为显示每一视频帧，扭曲算法需要高计算量，并且及其耗费时间，尤其在低成本手持（hand-held）设备中，上述现象尤甚。

因此，需要一种创新的设计，其能够简单并有效的创建和显示全景视频。

【发明内容】

有鉴于此，本发明特提供一种视频帧处理方法，视频流播放方法及视频帧记录装置。

本发明实施例提供了一种处理多个视频帧的方法，包含获取多个视频帧的图像配准信息，其中图像配准信息用于将多个不同视频帧转换为同一坐标系统；以及使用图像配准信息，在多个视频帧中搜寻对应于选定场景的多个目标视频帧。

本发明实施例又提供了一种视频流播放方法，包含接收选定场景的播放请求；搜寻用于多个目标视频帧的视频流，其中多个目标视频帧对应于选定场景的图像配准信息，图像配准信息用于将多个不同视频帧转换为同一坐标系统；以及依据在视频流中找到的多个目标视频帧执行播放操作。

本发明实施例另提供了一种用于记录多个视频帧的装置，包含视频处理电路及信息采集电路。视频处理电路依据多个视频帧产生视频流；信息采集电路获取多个视频帧的图像配准信息，以及将图像配准信息记录入视频流中，其中图像配准信息用于将多个不同视频帧转换为同一坐标系统。

以上所述的视频帧处理方法，视频流播放方法及视频帧记录装置能够保证输出视频质量，并且具有较低的计算复杂度。

【附图说明】

图1是依据本发明一个范例性实施例的记录装置的示意图。

图2是依据本发明另一范例性实施例的记录装置的示意图。

图3是图1所示的记录装置的替代设计。

图4是图2所示的记录装置的替代设计。

图5为将被记录装置处理的视频帧的范例性排布的示意图。

图6为将被记录装置处理的视频帧的另一范例性排布的示意图。

图7是依据范例性实施例的记录多个视频帧的方法流程图。

图8是依据本发明的范例性实施例的播放装置的示意图。

图9是基于播放请求的范例性视频帧选择的示意图。

图10是基于播放请求的另一范例性视频帧选择的示意图。

图11是基于播放请求的又一范例性视频帧选择的示意图。

图12是范例性观看帧尺寸归一化操作的示意图。