[发明专利]用于视频电话的关注区提取

说明书

本申请案主张2005年3月9日申请的第60/660,200号美国临时申请案以及2005年7月15日申请的题为REGION-OF-INTEREST PROCESSING FOR VIDEO TELEPHONY的第11/183,072号待决美国专利申请案的权益。

技术领域

本揭示案涉及数字视频编码和解码，且更明确地说涉及用于视频电话(VT)应用的处理关注区(ROI)信息的技术。

背景技术

已为编码数字视频序列建立了许多不同的视频编码标准。举例来说，移动图片专家组(MPEG)已开发出许多标准，包含MPEG-1、MPEG-2和MPEG-4。其它实例包含国际电信联盟(ITU)H.263标准和新兴的ITU H.264标准。这些视频编码标准通常支持通过以压缩方式编码数据而改进视频序列的传输效率。

视频电话(VT)允许用户共享视频和音频信息以支持例如视频会议的应用。示范性视频电话标准包含由会话启始协议(SIP)界定的那些标准、ITU H.323标准和ITU H.324标准。在VT系统中，用户可发送并接收视频信息，仅接收视频信息，或仅发送视频信息。接收者通常以视频信息从发送者传输的形式查看所接收的视频信息。

已提议对视频信息的选定部分进行优先编码。举例来说，发送者可指定以较高质量编码关注区(ROI)以用于传输到接收者。发送者可能希望向远程接收者强调所述ROI。尽管发送者可能希望关注视频场景内的其它对象，ROI的典型实例是人脸。利用对ROI的优先编码，与非ROI区相比，接收者能够较清楚地查看ROI。

发明内容

本揭示案针对用于视频电话(VT)的关注区(ROI)处理技术。根据所述揭示的技术，本地接收者装置界定由远程发送者装置编码和传输的视频，即远端视频的ROI信息。所述本地接收者装置将所述ROI信息传输到所述远程发送者装置。所述发送者装置使用由所述接收者装置传输的所述ROI信息，对视频场景内的ROI应用优先编码，例如较高质量编码或误差防护。以此方式，接收者装置能够远程控制对由发送者装置编码的远端视频的ROI编码。

除了接收远端视频外，接收者还可经装备以发送视频，即近端视频。因此，参与VT通信的装置可对称地充当视频信息的发送者和接收者两者。充当接收者时，每一装置可定义远端ROI信息以用于由作为发送者的远程装置编码的视频。并且，充当发送者时，每一装置可定义近端ROI信息以用于传输到作为接收者的另一装置的视频信息。发送者或接收者装置可称为“ROI感知的”，是指其能够处理由另一装置提供的ROI信息以支持对ROI视频编码的远程控制。

远端ROI信息允许接收者控制发送者装置进行的远程ROI编码以较清楚地查看所接收的视频场景内的对象或区。近端ROI信息允许发送者控制本地ROI编码以强调所传输的视频场景内的对象或区。因此，发送者对ROI的优先编码可基于由接收者或发送者产生的ROI信息。另外，接收者装置可(例如)通过应用例如误差隐蔽、解块或去鸣振技术的较高质量后处理来基于ROI信息而优先解码ROI。

为了促进ROI处理，本揭示案进一步预期用于ROI选择、ROI映射、ROI提取、ROI信令、ROI跟踪，和对接收者装置的存取验证以允许对发送者装置的ROI编码进行远程控制的技术。ROI选择可依赖于预定义的ROI样式、口头或文本ROI描述，或用户划定的ROI。ROI映射涉及将选定的ROI样式转译为ROI映射，其可采取适宜由视频编码器使用的宏区块(MB)映射的形式。

ROI信令可涉及从接收者向发送者装置进行ROI信息的带内或带外信令。ROI跟踪涉及响应于ROI运动而动态调节ROI映射。存取验证可涉及出于远程ROI控制以及解决本地与远程用户或多个远程用户之间的ROI控制冲突的目的而向接收者装置授予存取权和等级。

ROI提取可涉及处理对关注区(ROI)的用户描述以基于所述描述而产生指定所述ROI的信息。可基于指定ROI的信息来编码近端视频以增强近端视频的ROI相对于非ROI区域的图像质量。用户描述可基于文本、图形或语音。提取模块应用适当处理以从用户描述中产生ROI信息。提取模块可驻存在视频通信装置本地，或驻存在经配置以进行ROI提取的不同的中间服务器中。

在一个实施例中，本揭示案提供一种方法，其包括从远程装置接收指定由本地装置编码且由远程装置接收的近端视频内的关注区(ROI)的信息，和基于ROI来编码近端视频以增强视频的ROI相对于非ROI区域的图像质量。