[发明专利]视频处理方法、设备和系统

说明书

本申请是申请日为2001年9月26日申请号为第01816558.3号发明名称为“视频处理方法、设备和系统”的中国专利申请的分案申请。

背景

本发明涉及视频处理。

为了能在限定带宽的数字信道中通信，通常将模拟的视频编码成码流并且对码流进行压缩。在接收机端进行解压缩并转换回模拟的。

能部分补偿质量损失的压缩技术包括在传输之前将视频数据分成两部分数据：数据的“基本”体和数据的“增强”体。基本数据包括视频序列的低质量形式，但能够采用相当小的带宽来传输。

增强数据提供了对基本数据的校正。增强数据可以包含增强图像区域颜色和增强图像区域细节的信息。在接收端，解码处理的过程中可以将基本数据与增强数据重新组合。所有增强数据与基本数据的重新组合将使输出视频的质量接近于原始视频。然而，因为通信信道的带宽限制，常常不能传输完全的增强数据体。而是将增强数据分成较小的子集，每一个只需要较小的带宽，且一个或多个子集的增强数据可以与基本数据同时传输。传输越多的增强数据，就能产生更好的输出视频，但需要更宽的带宽。

附图简述

图1a是显示视频信号路径的功能框图。

图1b是显示视频信号路径的图。

图2是产生典型图像的单元分级表示。

图3a和3b是描述DCT系数结构的图。

图4是显示视频编码和压缩的方框图。

图5是显示视频解码的方框图。

图6是说明基于阈值分层处理的流程图。

图7是说明阈值选择的流程图。

图8a和8b显示了增强数据系数幅值的示例部分，它被分成了位图和分层的子集。

图9是说明解码器收集增强数据的流程图。

详细描述

总的来说，以下所讨论的技术改善了视频数据在网络中的分布，其中不同的通信路径是以不同的带宽表征的。

图1a是显示在网络中分布的视频数据所采取的路径的方框图。输入的视频信号10馈送至编码器12，该编码器将输入的信号10转换成机器可读序列位形式的视频数据，或码流。随后根据视频数据的要求将视频数据存储于服务器14。当服务器14接收到视频数据的请求时，就将该数据发送至发射机16，发射机将数据18沿着网络上的通信信道发送。接收机20接收到数据18并将该数据以码流发至解码器22。解码器22把所接收到的码流转换成输出视频信号24，随后可以观看该视频信号。

图1b显示了分布视频数据的系统。视频源11产生输入视频信号10，它被输入到第一计算机13。第一计算机13包括编码器12，它将视频数据编码成码流18，用于沿着与网络19相耦合的通信信道17发送。第一计算机13也包括存储器15，用于存储视频数据并起着服务器14的作用。第二计算机23包括了解码器22，它通过信道21接收码流18。解码器22将所接收到的码流18转换成输出的视频信号24，该信号可以在观察器25上观看。

在编码器12上所完成的编码可以涉及诸如MPEG-2或MPEG-4，第一版或第二版的有损压缩技术。(MPEG是运动图像专家组的简称，以及MPEG-2和MPEG-4表示该小组所开发的数字视频压缩标准以及文件格式。)这些技术产生了基本视频数据体，即，这些数据体足以产生相比于源视频序列的较低质量可视视频序列。如果解码和观察了基本的视频数据，最终产生的视频将是以原始视频较差形式感知的。

MPEG所采用的一种有损压缩技术是对一幅图像变化到下一幅的视频序列中的大部分图像(和运动矢量一起)而不是图像数据的本身进行编码。该项技术可明显地节省带宽。

数据的另一部分被称之为增强数据，它采集在量化基本视频图像和原始未量化输入视频图像之间的差值。当增强数据与基本数据相组合时，增强数据可改善可视视频序列的质量，从而产生改善的视频输出。

增强数据的子集可以包括对图像的校正，或对一幅图像变化到下一幅的变化进行校正。一般来说，增强数据与基本数据相对应，即，如果基本数据对一幅图像变化到下一幅的变化进行编码，则对应于基本数据的增强数据可包括对一幅图像变化到下一幅的变化进行校正。增强数据也可以用于解码22过程，以在解码过程中重新构成在编码22时从所编码的基本视频数据中去除的图像。

在许多情况下，通信信道16只具有有限的带宽，并且只能容纳部分但不是全部的增强数据。当接收机20和解码器22接收了少于全部增强数据时，输出视频24就只能得到少于全部的校正。以下所讨论的技术有效利用带宽，采用以下将讨论的基于阈值处理，通过产生增强数据的子集或“分层”，在给定带宽的条件下传递更多的增强数据。