[发明专利]一种视频稳定的方法及装置

说明书

一种用于视频稳定的方法及装置，包括存储在计算机可读存储介质上的计算机程序。在一些实施方式中，计算机系统使用光学图像稳定(OIS)系统获得由记录设备捕获的视频的帧。计算系统接收(i)指示在捕获帧期间的OIS系统的位置的OIS位置数据，以及(ii)指示在捕获帧期间的记录设备的位置的设备位置数据。计算系统基于特定帧的OIS位置数据和特定帧的设备位置数据来确定特定帧的第一变换。该计算系统基于第一变换和在捕获特定帧之后出现的记录设备的位置来确定该特定帧的第二变换。计算系统使用第二变换来生成特定帧的稳定版本。

背景技术

通常，使用相机，蜂窝电话，平板计算机和其他记录设备来进行视频记录。在许多情况下，使用手持式记录设备所记录的视频会意外移动，从而降低视频质量。移动的主要原因之一是握手，例如，当用户在握住记录设备时的无意或自然而然的移动影响了视频质量。不匀速的摇拍和其他运动也会降低视频质量。这些不希望有的运动可能会在记录的视频透镜中造成模糊，抖动和其他可见的缺陷。

除非例如通过图像稳定机制来补偿抖动，否则记录设备的抖动会导致视频同样抖动。光学图像稳定(OIS)可通过机械地移动记录设备的部件(例如透镜或图像传感器)来减少视频中出现的抖动和模糊。但是，OIS系统的操作有时会引入伪影，并且OIS系统通常在其可以补偿的运动量方面受到限制。类似地，OIS系统可能会错误地补偿记录设备的故意移动，例如用户的摇拍。例如，通过基于图像分析来对齐和移位图像帧，电子图像稳定(EIS)也可以减少视频中出现的抖动。但是，并非所有的EIS技术都是可靠的，因为有时候捕获的视频中的对象运动、噪声、以及相机运动模糊可能会混淆处理。

发明内容

视频稳定系统可以使用OIS和EIS的组合来稳定视频。OIS模块可以在视频捕获期间稳定帧，并且可以捕获来自OIS模块的位置信息(例如，透镜移位信息)并将其用于EIS处理中。通过使用OIS透镜移位位置，稳定处理可以校正由OIS系统引起的变形，并避免进行已经由OIS系统已经补偿的调整或运动。

在视频捕获期间，系统还可以从记录设备的陀螺仪获得记录设备的位置数据。系统可以在EIS处理期间使用设备位置数据和OIS位置数据来考虑捕获过程中的记录设备的实际姿势以及对由OIS引起的相机视图的调整。结果，EIS处理可以补偿整个记录设备的运动(例如，相机抖动或记录设备的其他外在移动)以及由于OIS模块的操作(例如，内部透镜移动)而引起的图像偏移。这可以允许系统更准确地确定所捕获的图像数据与真实世界场景之间的关系，以更准确地从输入帧生成稳定的输出帧。

视频稳定系统可以使用各种其他技术来提供高质量的稳定。例如，当处理帧时，系统可以使用未来帧(例如，稍后捕获的帧或超前的帧)来检测可能的大运动并甚至在大运动发生之前就开始对其进行补偿。这可以帮助避免一系列帧中的突然运动变化。即使在通过视频捕获基本实时地进行稳定操作时，也可以通过在帧捕获和EIS处理之间实现小的延迟来进行对未来帧的分析，以允许使用适当数量的稍后捕获的帧来稳定先前捕获的帧。作为另一个示例，当捕获帧的不同区域时，系统可以通过考虑不同的相机位置来校正卷帘快门失真。可以将不同的图像变换应用于捕获的帧的不同区域，例如，不同的扫描线，以使稳定的输出帧正确对齐不同的区域。作为另一个示例，该系统可以检测由于聚焦改变而引起的相机透镜移动，并且可以消除由通常伴随聚焦变换(例如，聚焦呼吸)的有效焦距变换所引起的视角变换。作为另一个示例，系统可以评估相机运动模糊，并将使用EIS估计的运动路径与模糊指示的移动对齐。

在一个总体方面，一种方法包括：由计算系统接收由记录设备使用光学图像稳定(OIS)系统捕获的视频的一系列帧；以及由计算系统接收(i)指示在捕获一系列帧期间的OIS系统的位置的OIS位置数据，以及(ii)指示在捕获一系列帧期间的记录设备的位置的设备位置数据；由所述计算系统确定所述一系列帧中的特定帧的第一变换，所述第一变换是基于所述特定帧的所述OIS位置数据和所述特定帧的所述设备位置数据确定的；由所述计算系统基于所述第一变换和所述记录设备的位置来确定所述特定帧的第二变换，所述记录设备的位置是基于所述设备位置数据，针对在所述特定帧之后捕获的所述一系列帧中的一个或多个帧所确定的；和由所述计算系统使用所述第二变换来生成所述特定帧的稳定版本。