[发明专利]用于视频稳定化的视频图像对齐

说明书

相关申请的交叉引用

本申请要求2015年8月19日提交的美国临时专利申请No.62/206911和2016年8月15日提交的美国发明专利申请No.15/236904的权益，其公开内容以引用的方式整体并入本文中。

技术领域

本公开的实施方式涉及视频处理，并且更具体地，涉及用于视频稳定化的视频帧对齐。

背景技术

当人使用手持摄像机来记录视频时，该视频可能由于人无意识的身体移动而呈现出摇动和抖动。这些摇动和抖动可能会对视频质量产生不利影响。

发明内容

因此，需要稳定视频记录中的图像。本公开的实施方式提供了采用频域视频帧对齐方法来稳定视频记录的技术方案。该方法利用时间和空间上的频域信息编码信息来评估视频记录中两个视频帧之间的偏移(例如，以像素数量的形式)，以用于视频帧对齐。由于频域处理的计算复杂度低于空域处理方法需要的计算复杂度，因此频域处理方法对于视频稳定化更高效。

通过提供计算输入视频帧与参考视频帧之间在频域中的偏移的处理设备而得以弥补上述问题。处理设备可以将输入视频帧从空间域变换到频域以获得频域表示。处理设备可以基于频域表示来评估参考视频帧的边缘与变换的图像的边缘之间的偏移。根据该偏移，处理设备可以将输入视频帧与参考视频帧对齐以生成对齐的视频帧。处理设备可以将对齐的图像发送到下游设备。

处理设备可以检测输入视频帧的边缘。可以使用边缘检测方法(例如，Canny边缘检测器或高斯微分(DOG)边缘检测器)来检测边缘。处理设备可以确定输入视频帧中的边缘与参考视频帧中的对应边缘之间的偏移。对齐处理器可以根据偏移来调整输入视频帧的每个像素的位置。可以以取决于视频帧速率或视频质量中的至少一个的速率来更新参考帧。

附图说明

根据下文提供的示例性实施方式的详细描述结合考虑以下附图，可以更容易地理解本发明：

图1是示出根据本公开的实施方式的计算系统的框图。

图2是可以在如图1所示的计算系统中采用的向量处理器。

图3是如图2所示的向量处理器的向量单元。

图4是示出根据本公开的实施方式的用于对齐视频帧的方法的流程图。

图5是示出根据本公开的实施方式的提供视频帧对齐的与图1的计算系统相关联的方法的流程图。

图6A是测试视频帧和对应的检测到的边缘(测试视频帧1(即，tr1))。

图6B是测试视频帧和对应的检测到的边缘(由OST2检测到的边缘)。

图6C是测试视频帧和对应的检测到的边缘(由OST2检测到的边缘(线)和由SIFT找到的关键点(点))。

图7A是测试视频帧和对应的检测到的边缘(测试视频帧2(即，tr2))。

图7B是测试视频帧和对应的检测到的边缘(由OST2检测到的边缘)。

图8A是测试视频帧和对应的检测到的边缘(归一化相关；tr1和tr2归一化相关结果)。

图8B是测试视频帧和对应的检测到的边缘(峰值周围的归一化相关；tr1和tr2归一化相关结果)。

图8C是测试视频帧和对应的检测到的边缘(峰值周围的归一化相关；tr1和tr2归一化相关结果)。

图9A是测试视频帧和对应的检测到的边缘(测试视频帧13(即，tr3))。

图9B是测试视频帧和对应的检测到的边缘(由OST2检测到的边缘)。

图10A是测试视频帧和对应的检测到的边缘(归一化相关；tr1和tr3归一化相关结果)。

图10B是测试视频帧和对应的检测到的边缘(峰值周围的归一化相关；tr1和tr3归一化相关结果)。

图10C是测试视频帧和对应的检测到的边缘(峰值周围的归一化相关；tr1和tr3归一化相关结果)。

图11A是测试视频帧和对应的检测到的边缘(测试视频帧4(即，tr4))。

图11B是测试视频帧和对应的检测到的边缘(由OST2检测到的边缘)。

图12A是测试视频帧和对应的检测到的边缘(归一化相关；tr1和tr4归一化相关结果)。

图12B是测试视频帧和对应的检测到的边缘(峰值周围的归一化相关；tr1和tr4归一化相关结果)。

图12C是测试视频帧和对应的检测到的边缘(峰值周围的归一化相关；tr1和tr4归一化相关结果)。