[发明专利]对视频通话的画中画处理

说明书

技术领域

本发明涉及数字视频编码及解码，且更特定来说涉及用于对涉及到画中画(PIP)呈现的视频通话(VT)应用的信息进行处理的技术。

背景技术

人们已制订了大量不同的视频编码标准来用于对数字视频序列进行编码。例如，运动画面专家组(MPEG)已开发出大量标准，其中包含MPEG-1、MPEG-2和MPEG-4。其它实例包含国际电信联盟(ITU)H.263标准和新兴ITU H.264标准。这些视频编码标准一般通过以压缩方式对数据进行编码来支持视频序列的改进传输效率。

视频通话(VT)准许用户分享视频和音频信息以支持例如视频会议的应用。例示性视频通话标准包含由对话起始协议(SIP)、ITU H.323标准和ITU H.324标准定义的标准。在双向VT中，用户发送并接收视频信息。某些VT系统提供画中画(PIP)特征，其准许用户观看来自远程用户的传入视频和发送到远程用户的传出视频两者。

利用所述画中画特征，传出视频可呈现在覆盖在含有传入视频的较大画面上的较小画面中。所述较大画面通常占据整个视频帧。所述较小画面可占据所述视频帧的约20％到25％，覆盖了所述较大画面的一部分。画中画特征可准许用户观看传出视频来确保正确的照相机对准。例如，用户可能希望确保其面部或另一对象将在传出视频帧中完全可见。通过使用画中画特征，所述用户可更好地定位照相机以改进传出视频的内容。

发明内容

本发明旨在用于对视频通话(VT)进行画中画(PIP)处理的技术。根据所揭示技术，本地视频通信装置将画中画信息传输到远程视频通信装置。通过使用画中画信息，所述远程视频通信装置对传输到本地视频传输装置的视频的非画中画区域应用优先编码。

当启用画中画特征时，本地视频通信装置呈现一视频帧，其含有从远程视频通信装置接收的传入视频和传输到远程视频通信装置的传出视频。所述传入视频大致占据整个视频帧。所述传出视频占据视频帧的较小区域，所述区域称作画中画区域。本地视频通信装置将画中画信息传输到远程视频通信装置。

画中画信息识别其中将传出视频呈现给本地视频通信装置的用户的画中画区域。画中画信息可嵌入到已编码的传出视频中，或可以通过带外信令技术传输。在某些实施例中，画中画内容和画中画信息可以从中间网络服务器提供。

通过使用画中画信息，远程视频通信装置对传入视频中在画中画区域外部的区进行优先编码。远程视频通信装置可以用较低的质量对传入视频中在画中画区域内部的区进行编码。或者，远程视频通信装置可以跳过对传入视频中在画中画区域内部的区的编码。在任一情况下，画中画信息从本地视频通信装置到远程视频通信装置的传输都准许以增强的视觉质量对传入视频的非画中画区域进行编码。

画中画信息的交换使远程视频通信装置知晓由本地视频通信装置指定的画中画。从这个意义上来说，视频通信装置合并有能够处理从另一视频通信装置远程指定的画中画信息的“画中画感知的(PIP-aware)”视频编解码器(CODEC)，且基于所述画中画信息对传出视频进行编码。在某些实施例中，视频通信装置还可以基于本地指定的画中画信息对传入视频的非画中画区域进行优先解码，例如，通过跳过或应用画中画区域中较低复杂度的错误隐藏或后处理。

在一个实施例中，本发明提供一种方法，其包括：接收画中画(PIP)信息；及基于所述画中画信息对将要传输到远程视频通信装置的视频进行编码。

在另一实施例中，本发明提供一种方法，其包括：对将要传输到远程视频通信装置的视频进行编码；及将所述视频和画中画(PIP)信息传输到所述远程视频通信装置。

在附加实施例中，本发明提供一种视频通信装置，其包括：模块，其接收画中画(PIP)信息；及视频编码器，其基于所述画中画信息对将要传输到远程视频通信装置的视频进行编码。

在进一步的实施例中，本发明提供一种视频通信装置，其包括：编码器，其对将要传输到远程视频通信装置的视频进行编码；及信令模块，其将画中画(PIP)信息发送到所述远程视频通信装置。

在另一实施例中，本发明提供一种视频通信系统，其包括：本地视频通信装置，及远程视频通信装置，其中所述远程视频通信装置将远程画中画(PIP)信息传输到所述本地视频通信装置，且所述本地视频通信装置基于远程画中画信息对视频进行编码以传输到所述远程视频通信装置。

本文所描述的技术可实施于硬件、软件、固件，或其任一组合中。如果实施于软件中，则所述技术可部分地通过计算机可读媒体来实现，所述计算机可读媒体包括含有在由处理器执行时执行本文所述方法的一者或多者的指令的程序代码。