[发明专利]用于视频稳定化的视频图像对齐

权利要求书

1.一种方法，包括：

由执行边缘检测器的处理设备生成与参考视频帧相关联的第一边缘图；

由所述执行边缘检测器的处理设备生成与输入视频帧相关联的第二边缘图；

由所述处理设备基于所述第一边缘图的第一频域表示和所述第二边缘图的第二频域表示来计算所述参考视频帧和所述视频帧之间的偏移；

由所述处理设备根据计算出的偏移来平移所述输入视频帧的多个像素的位置，以使所述输入视频帧相对于所述参考视频帧对齐；以及

由所述处理设备将对齐的视频帧发送到下游设备。

2.根据权利要求1所述的方法，其中，平移多个像素的位置还包括：

基于所述偏移来调整所述视频帧的多个像素中的每一个的位置。

3.根据权利要求1所述的方法，其中，以取决于视频帧速率或视频质量中的至少一个的速率更新所述参考视频帧。

4.根据权利要求1所述的方法，还包括：

抽取所述输入视频帧以生成经抽取的输入视频帧；以及

抽取所述参考视频帧以生成经抽取的参考视频帧。

5.根据权利要求4所述的方法，还包括：

通过在所述经抽取的参考视频帧上应用边缘检测器来生成所述第一边缘图；以及

通过在所述经抽取的输入视频帧上应用边缘检测器来生成所述第二边缘图。

6.根据权利要求5所述的方法，还包括：

对所述第一边缘图应用频率变换以生成所述第一频域表示；以及

对所述第二边缘图应用频率变换以生成所述第二频域表示。

7.根据权利要求6所述的方法，其中，所述频率变换是傅立叶变换。

8.根据权利要求1所述的方法，其中，所述边缘检测器是Canny边缘检测器。

9.根据权利要求1所述的方法，其中，计算所述参考视频帧和所述视频帧之间的偏移还包括：

计算所述第一频域表示和所述第二频域表示之间的互相关；

确定所述互相关中的峰值的位置；以及

基于所述互相关中的峰值的位置确定偏移。

10.一种系统，包括：

存储器；

处理设备，其可操作地耦合到所述存储器以：

通过执行边缘检测器来生成与参考视频帧相关联的第一边缘图；

通过执行边缘检测器来生成与输入视频帧相关联的第二边缘图；

基于所述第一边缘图的第一频域表示和所述第二边缘图的第二频域表示来计算所述参考视频帧和所述视频帧之间的偏移；

根据计算出的偏移来平移所述输入视频帧的多个像素的位置，以使所述输入视频帧相对于所述参考视频帧对齐；以及

将对齐的视频帧发送到下游设备。

11.根据权利要求10所述的系统，其中，为了平移所述多个像素的位置，所述处理设备还基于所述偏移来调整所述视频帧的所述多个像素中的每一个的位置。

12.根据权利要求10所述的系统，其中，所述处理设备还用于：

抽取所述输入视频帧以生成经抽取的输入视频帧；以及

抽取所述参考视频帧以生成经抽取的参考视频帧。

13.根据权利要求12所述的系统，其中，所述处理设备还用于：

通过在所述经抽取的参考视频帧上应用边缘检测器来生成所述第一边缘图；以及

通过在所述经抽取的输入视频帧上应用边缘检测器来生成所述第二边缘图。

14.根据权利要求13所述的系统，其中，所述处理设备还用于：

对所述第一边缘图应用频率变换以生成所述第一频域表示；以及

对所述第二边缘图应用频率变换以生成所述第二频域表示。

15.根据权利要求14所述的系统，其中，所述频率变换是傅里叶变换，并且其中，所述边缘检测器是Canny边缘检测器。