[发明专利]用于处理数字图像的方法、装置和系统

说明书

提供了一种用于处理大图像的方法、图像预处理装置和相机系统。该方法包括：在图像预处理装置处从图像传感器接收图像帧，该图像帧的帧像素分辨率基本上等于该图像传感器的传感器像素分辨率；将该图像帧划分成要通过图像信号处理器顺序地处理的第一图像子帧和第二图像子帧，该第一图像子帧和该第二图像子帧中的每一个具有小于该传感器像素分辨率的子帧像素分辨率以及该第一图像子帧和该第二图像子帧彼此重叠的区域。该子帧像素分辨率由该图像信号处理器的处理容量预先确定，并且该第一图像子帧和该第二图像子帧通过该图像信号处理器进行连续处理。

相关专利申请的交叉引用

本申请要求于2018年6月12日提交的美国专利申请号16/006,637的优先权，该美国专利申请的披露内容通过援引以其全文并入本文。

技术领域

本发明涉及数字图像的处理，并且更具体地，涉及在静止图像模式下处理具有高像素分辨率的大数字图像。进一步，本发明涉及一种执行数字图像的处理的装置和系统。

背景技术

数字相机包括用于捕获数字图像的图像传感器并且通常在静止图像模式或实时取景模式下操作。可以使用不同的技术来产生静止图像和实时取景图像。尽管产生高质量的静止图像很重要，但可以生成图像质量较低但仍可接受的实时取景或预览图像。

图像传感器通常检测每个像素的光强度。为了允许记录颜色信息，可以将滤色器结合到图像传感器的衬底，这些滤色器将某种颜色分配给某个像素，并且每个像素检测特定颜色的光强度。数字相机中使用的滤色器的典型模式是拜耳过滤器。拜耳过滤器包含交替行的红色和绿色过滤器以及蓝色和绿色过滤器，其中，每行分别包含交替的红色和绿色过滤器以及蓝色和绿色过滤器。绿色过滤器优先允许绿色光子穿过以到达图像传感器的相应像素的检测器(例如，光电二极管)。同时，到达绿色过滤器处的红色和蓝色光子不会透过过滤器并且因此不会被相应检测器检测到。类似地，红色过滤器优先允许红色光子穿过并且蓝色过滤器仅允许蓝色光子穿过以到达相应检测器。

每个图像帧的图像像素分辨率取决于图像传感器的像素分辨率并且通常描述了数字图像所包含的信息的细节。换句话说，通过增加图像像素分辨率，可以增加图像中的细节水平。图像帧的像素分辨率通常由像素列数(图像宽度)和像素行数(图像高度)来描述，像素列数和像素行数得出需要由专用图像处理器进行处理的总像素数。

当在图像传感器前面应用拜耳过滤器时，需要对由图像传感器产生的所得图像帧进行插值或去马赛克，以便针对每个像素生成所有三种颜色，使得数字图像可以被显示、打印或存储。

在数字相机中，插值或去马赛克可以由专用图像信号处理器(ISP)执行，也可以由执行图像处理软件程序的通用处理器(CPU)执行。

插值或去马赛克的过程可能非常复杂，这具体地取决于所使用的数学算法的有效性，因为有更大数量的像素需要在静止图像模式下处理。美国专利号6,292,218 B1描述了一种电子相机，在该电子相机中，用于生成高质量静止图像的更复杂的数字技术在软件中实施并在CPU上执行，而用于产生可接受质量的预览图像的较不复杂的技术则在专用集成电路(ASIC)中实施。

然而，利用CPU用于静止图像处理可能会显著增加制造高分辨率数字相机的成本。具体地，静止图像处理比用ISP进行的静止图像处理显著更慢，因为所有步骤必须在CPU上顺序地执行，而在ISP中，所有步骤以流水线的方式同时执行。另一方面，用具有相应高处理能力的ISP来处理静止图像也可能导致数字相机的制造成本显著更高。因此，需要新的方法，这些方法允许使用处理能力相对较低的ISP来同样处理全分辨率高质量静止图像帧，而无需CPU进行图像处理(比如插值和去马赛克)。

发明内容

因此，本发明的目的是提供一种用于通过具有有限处理容量的图像信号处理器在静止图像模式下处理具有高像素分辨率的大数字图像的方法、图像处理装置和系统。