[发明专利]超分辨率智能图像传感器芯片

说明书

本发明公开了一种超分辨率智能图像传感器芯片，其包括一个单帧超分辨率数字图像处理模块，其通过双线性插值法将缓存在其中的低分辨率图像的图像数据小阵列N_a，b扩展为图像数据大阵列N_pa，pb，以获得超分辨率图像，扩展的具体方法为：对小阵列中的任一个数据N_i，j，根据其紧邻数据N_i，j+1、N_i+1，j和N_i+1，j+1，多次使用双线性插值法均匀插入另外pp‑1个数据，将N_i，j扩展成一个p×p阵列，并输出，依次扩展小阵列中的所有数据，并输出，得到大阵列；其中，a、b、i和j均为正整数，p为大于1的正整数。本发明的传感器具有较大的像素尺寸，并通过硬件实现双线性插值算法，因而兼具高灵敏度和超分辨率。

技术领域

本发明是基于超分辨率智能算法的图像传感器芯片，主要适用于监控，医疗等智能硬件应用领域。

背景技术

图像传感器是将一种新型的将光学图像转换成电信号的电子成像器件，主要应用包括手机，照相机，摄像机，监控和生物医学等各个领域。目前，市场上主要有两种类型的传感器，电荷耦合器件(CCD)和互补金属氧化物半导体的(CMOS)有源像素传感器。由于CMOS图像传感器是可以通过生产电脑和计算机的大规模集成电路CMOS工艺来制造，具有成本低，体积小，高速，低功耗和易于集成的优点，因此迅速占领了电子成像器件的市场并得到了突飞猛进的发展。

目前图像传感器产品的主要发展方向是通过增加图像分辨率以提高图像的质量，通常工业界的解决方案是通过减少像素尺寸(1微米)不断增加传感器的像素数目(1500万)，但减少像素尺寸(即感光面积)就会影响到图像的质量。对于任何一种特定的生产工艺和像素结构，缩小像素尺寸将影响像素性能，包括限制感光动态范围，降低填充因子，减弱光敏感性，增大暗电流噪声，以及影响成像非均匀性等。为了克服由于减少图像传感器尺寸对成像性能的影响，工业界通过生产工艺的创新与改进，包括背部照明技术，微透镜集成，pin光电二极管，双栅极氧化物，图像读取电路设计优化等方法不断提高图像传感器性能，然而这些技术革新通常需要巨额(高达数十亿美元)研发投入，而且由于物理极限约束，像素工艺改良并不能无限制提高像素的性能。有些还可以通过控制图像传感器的运行(如延长像素曝光时间)来补偿感光性能的降低，但长曝光时间积累的暗电流会严重影响图像质量，而且成像的速度也将受影响。

另外一种成本低廉的可行性解决方案是通过图像处理软件优化图像质量，即维持像素的现有尺寸以保证良好的感光性能，同时通过多帧的超分辨率算法可以从系统的角度提高图像的分辨率。该算法的基本原理是利用叠加几帧图像的时间信息，克服空间像素大小限制，从而改善图像的空间信息(即增大分辨率)。但是目前常用的方式是在芯片外部用FPGA进行超分辨率算法的运算，由于受到芯片之间数据传输速度和数据量的限制，因此在智能高速图像传感器应用中受到极大的限制。

发明内容

本发明的一个目的是解决至少上述问题和/或缺陷，并提供至少后面将说明的优点。

本发明还有一个目的是提供一种超分辨率智能图像传感器芯片，其传感器具有较大的像素尺寸，而且通过硬件实现双线性插值算法，因而具有高速和高灵敏度，也具有超分辨率。

为了实现根据本发明的这些目的和其它优点，提供了一种超分辨率智能图像传感器芯片，其包括一个单帧超分辨率数字图像处理模块，所述单帧超分辨率数字图像处理模块通过双线性插值法将缓存在其中的低分辨率图像的图像数据小阵列N_a，b扩展为图像数据大阵列N_pa，pb，以获得超分辨率图像，扩展的具体方法为：