[发明专利]基于帧相似性和视觉质量以及兴趣的帧编码选择

说明书

相关申请的交叉引用

本申请要求此前于2011年7月1日提交的、名为FRAME ENCODING SELECTION BASED ON FRAME SIMILARITIES AND VISUAL QUALITY AND INTERESTS的美国临时专利申请序列号61/503,795的优先权。该临时申请通过引用而全部内容并入于此。

技术领域

本发明的方面总体上涉及视频处理领域，更具体地，涉及预测视频编码系统。

背景技术

当按10帧/秒（fps）或以上的速率显示多个图像时，视频显示系统给出了活动视频的感觉。视频编码系统尝试通过编码视频序列并且通过带宽受限的信道发送该序列来表达运动。然而，在许多系统中信道带宽可能会在没有警告的情况下改变。视频编码系统动态地改变视频序列的参数（量化参数、编码模式、帧尺寸以及帧速率），以使所编码的视频数据适合由信道提供的带宽。视频编码协议是有损处理，因此，某些编码参数可能会降低所恢复的视频的感知质量。

然而，在某些情况下，带宽限制变得如此严重以至于编码器必须将帧速率下降至恢复的视频不再被感觉为“活动”视频的水平。例如，在1-3fps时，恢复的视频很可能被感觉为一系列的静态图像（类似于幻灯片放映的效果），而非活动视频。当视觉上无吸引力的图像（模糊的图像、曝光不足的图像等）在很长的时间段内显示在终端上时，消费者会感到编码序列的质量特别差。因此，发明人认识到，在编码控制方案的领域中，需要在严重的带宽限制期间选择高质量图像用于编码。

附图说明

图1（a）是例示根据本发明的实施例的视频编码系统的简化框图。

图1（b）是例示根据本发明的实施例的终端的组件的简化框图。

图2（a）和（b）例示了根据本发明的实施例的、视频编码器基于时间数据来选择参考帧的编码操作。

图3是例示根据本发明的实施例的、用于基于自动曝光数据来选择参考帧的方法的简化流程图。

图4（a）和（b）例示了根据本发明的实施例的、用于基于空间复杂性数据来选择参考帧的方法。

图5是例示根据本发明的实施例的、用于基于运动数据来选择参考帧的方法的简化流程图。

图6是例示根据本发明的实施例的、用于基于视觉兴趣指示来选择参考帧的方法的简化流程图。

图7是例示根据本发明的实施例的、当视频编码器处于幻灯片放映模式时的方法的简化流程图。

具体实施方式

本发明的实施例提供了这样的技术，其用于在编码视频的帧速率下降至低水平以至于失去活动视频的感觉，并且在这样的帧速率在使用中时，确定从视频序列中选择具有高视觉吸引力并且可以按高质量编码的帧。相对于具有较低吸引力和/或质量的其它帧，选择这种帧用于编码。

图1（a）是例示根据本发明的实施例的视频编码系统100的简化框图。如图所示，系统100可以包括经由网络130互连的多个终端110、120。终端110、120皆可以在本地位置处捕获视频数据，并且编码该视频数据以用于经由网络130发送至另一终端。每个终端110、120可以从网络130接收另一终端的编码视频数据，重建该编码数据，以及显示从其恢复的视频数据。

在图1（a）中，终端110、120被例示为智能电话，但本发明的原理并不受限于此。本发明的实施例在个人计算机（台式计算机和膝上型计算机）、平板计算机、计算机服务器、媒体播放器以及/或者专用视频会议设备中都可应用。

网络130表示在终端110、120之间传递编码视频数据的任何数目的网络，包括例如有线和/或无线通信网络。通信网络130可以在电路交换或分组交换信道中交换数据。代表性网络包括电信网络、局域网、广域网和/或因特网。出于本讨论的目的，网络130的架构和拓扑对本发明的操作来说不重要，除非下面另加说明。

图1（b）是例示根据本发明的实施例的终端110的组件的简化框图。终端110可以包括视频编码器140、摄像机150、运动传感器160，以及面部检测器170。摄像机150可以在终端110处捕获图像。摄像机150可以包括各种控制部件，包括自动曝光控制部155（在图1（b）中单独示出）。视频编码器140可以执行编码处理来压缩从摄像机150输入至其的视频数据。运动传感器160（诸如陀螺仪或加速度计）可以检测终端110的运动。面部检测器170可以分析由摄像机150输出的帧，并且可以确定该帧内容中人面部是否可见。