[发明专利]使用通用3D图形管道进行成本低廉的数字图像和视频编辑的方法和装置

说明书

发明背景

本发明涉及数字图像和视频处理。

在视频和图像编辑过程中，我们通过如将图像从屏幕的一部分移到另一部分，旋转图像，放大图像或缩小图像，改变一幅视频图像的部分或全部。其它常用图像处理包括翘曲图像(即，对图像进行三维变形)，对图像的部分进行放大，对图像执行圆柱、球形、双曲线或抛物线转换(例如，让一幅二维图像呈环绕着圆柱、球形、双曲线、或抛物线的表面弯曲或翘曲状)，使图像产生融化效果，等等。

经常，要处理的图像采用像素阵列的形式。也就是，图像存储为一个多个数据值的阵列，每个值对应于图像的一小块区域的色彩和亮度。当执行上述视频图像处理时，我们典型性地执行转换图像的每个像素的计算。例如，对于图像的每个像素，我们执行确定该像素在视频屏幕上的新位置的计算。大图像可以包含数百万像素。而且，对于图像流的情况(例如，在视频图像的情况下)，每秒必须转换许多帧。因此，在很短的时间内，对每个转换，可能必须分析和修改数百万像素。这种转换需要巨大的CPU资源或特殊的硬件，以能够在很短的时间内转换大量的像素。

提供一种用于编辑和/或处理二维图像的方法是理想的。因此我们能够每秒编辑和/或处理很多帧二维图像，例如，象视频图像的图像流，是特别理想的。能够快速和有效地执行这些处理，而不必设计专用于该目的的，昂贵，复杂的硬件是理想的。

概要

本发明的方法包括将2D图像转换到3D空间，并且使用用于处理图像的3D图形管道的步骤。该方法释放CPU资源，减少执行图像处理所需的时间，并且允许新的特殊效果。

在本发明的一个实施例中，我们获得一幅采用像素阵列形式的图像。这可以通过如对图像进行数字化来实现。然后，我们通过使用3D图形管道，将这些图像＂转换＂到3D空间。该图形管道可以完全或部分地通过软件或硬件(例如，3D硬件加速器)进行实现。

存在几个将像素阵列转换到3D空间的方法。典型地，3D管道定义一个图像表面区域的集合，每个图像表面区域被分配给三维坐标系统的一个位置。然而，在本发明的实施例的情况下，所有的表面区域是共面的。在一个实施例中，表面区域均是多边形，如三角形，每个三角形是通过用x、y和z坐标指定位置的点的集合来定义的。(所有的坐标是采用让它们都位于同一平面中的方式进行建立的)。然而，表面区域也可以使用其它图形技术进行定义。例如，表面区域或整个表面可以采用＂隐式＂技术进行定义，其中，空间(表面区域)中的像素位置通过数学方程进行定义。

创建表面区域的集合之后，我们将2D像素阵列图像映射到表面区域的集合上。换句话说，我们将2D图像的一幅图片的一部分＂绑定＂到每个图像区域。执行该步骤之后，我们使用3D图形管道来处理已创建的、要执行所需图像和/或视频编辑的图像。

我们已经发现该技术对于快速处理很多2D图像是极其有效的。例如，该技术可以用于处理视频图像流，该图像流典型地包括每秒59.94帧，每帧对应于一个大的像素阵列。该技术也可以用于处理来自其它来源的2D图像，例如，数字扫描仪、照相机、从因特网下载的图像文件，或其它来源。

在一个实施例中，目前现有的非定制的3D管道和/或3D加速处理器用于执行该过程。因此，我们已经发现一种用于处理2D图像的新的廉价方法，而不必从零开始构建特殊处理软件和/或硬件。

我们采用新的方式使用3D图形管道将是值得重视的。以前，图形管道用于将纹理映射到一个几何对象上，作为给该几何对象一种特殊外观的方法，并且，创建一个包含这种对象的集合的新虚拟环境。这是通过向图形管道提供纹理和几何图形以创建一个新的虚拟图像来实现的。这与使用几何图形转换和编辑图像不同。

在本发明的方法中，我们将一个图像和一个几何图形应用于3D图形管道以生成一幅3D图像。然后，我们采用新的方式使用3D图形管道，以转换或处理该图像。

图像不仅仅是在如某些纹理的图案中的不断重复的单元，也不仅仅是几乎感觉不到的大小的图像。在构造一幅图像的过程中，我们不是简单地将一种纹理应用于一个表面，而是将一幅图像应用于一个几何表面，以将该图像置放于三维空间。该图像可以是一个三维对象的二维图像。

附图简述

图1A到1E示出3D图形管道的操作；

图2A和2B示出使用本发明的方法的2D图像的处理；

图3是一个用本发明的3D图形管道与图形控制器结合的个人计算机(personal computer，PC)的简化方框图。

详细描述