[发明专利]基于事件的图像传感器及其操作方法

说明书

一种基于事件的图像传感器包括多个像素电路(1)，每个像素电路(1)包括：感光器电路(10)，感光器电路(10)包括光敏元件(101)并被配置为在输出(11)处传送感光器电流(I_PRout)；模拟总线(20)；一组电流存储单元，其连接到模拟总线(20)，每个电流存储单元适于存储在模拟总线(20)中流动的电流，并传送存储在所述电流存储单元内的电流；其中每个像素电路(1)包括电流比较器(50)，电流比较器(50)包括：‑电流符号检测器(51)，其连接到模拟总线(20)，并被配置为比较根据感光器电流和存储在电流存储单元中的上一感光器电流之间的差产生的比较电流的值，‑至少一个存储单元(53、54)，其具有受所述电流符号检测器(51)的输出限制的状态。

技术领域

本发明涉及一种基于事件的图像传感器及其操作方法。

背景技术

传统图像传感器获取以预定帧速率进行时间量化的视觉信息。每个帧都承载来自所有像素的信息，而不管该信息自获取上一帧以来是否发生变化。显然，这种方法根据场景的动态内容，在所记录的图像数据中产生程度或高或低的冗余性。随着现代图像传感器向更高的空间和时间分辨率发展，这个问题变得更加严重。数据后处理所需的硬件的复杂性和成本增加，对传输带宽和数据存储容量的需求激增，功耗增加，导致从需求量较大的高速工业视觉系统到电池供电的移动消费设备的各种视觉应用受到严苛的限制。

处理视频数据中时间冗余的一种方法是帧差编码。这种最简单的视频压缩形式包括在初始关键帧之后，逐帧地仅传输超过定义的强度变化阈值的像素值。已知的帧差异成像器依赖于图像数据全帧的获取和处理，并且不能自洽地抑制时间冗余并无法提供实时的压缩视频输出。此外，即使在像素级完成处理和差异量化时，如在所有基于帧的成像设备中一样，场景动态获取的时间分辨率仍然受限于可达到的帧速率，并被时间量化到该帧速率。

通过首先不记录冗余数据并直接减少传感器输出级的数据量，可以最有效地避免数据冗余的不利影响。直接的好处是减少了数据传输和后处理的带宽、内存和计算能力需求，从而降低了系统功耗、复杂性和成本。此外，传统CMOS或CCD图像传感器的基于帧的时控操作原理会导致时间分辨率方面的限制，因为场景动态被量化为读出像素视场的帧速率，并且动态范围较差。

本发明要解决的问题是提供一种图像传感器及其操作方法，用于在宽动态范围(可记录和刻处理光强度的宽动态范围)内以高时间和强度分辨率连续获取观察到的动态场景的全部视觉信息，从而生成最少的必要数据量。因此，所生成的数据不是由包含所有像素的图像信息的连续帧构成，而是由各个像素的强度(即灰度)变化信息流构成的，仅当各个像素的视场光强度的实际变化被像素本身检测到时才记录和传输这些数据。

该方法通过完全抑制传统图像传感器所特有的图像信息中的时间冗余，导致所产生的数据大大减少，尽管该数据包含相同或更高的信息内容。可以基于电子电路来实现执行上述方法以及所需的异步数据读出机制的图像传感器的图像元素。例如在CMOS技术中，具有多个这样的图像元素的图像传感器通常被实现和制造为集成的片上系统。

实现这样的传感器并因此避免传统图像数据获取的上述缺点对于包括以下项的各种人工视觉应用而言是有益的：工业高速视觉(例如，快速对象识别、运动检测和分析、对象跟踪等)、汽车(例如，用于碰撞预警和回避的实时3D立体视觉、智能后视镜等)、监视和安全(场景监视)或机器人技术(自主导航、SLAM)以及生物医学和科学成像应用。由于传感器的操作受人视网膜的工作原理的启发，因此一个有利的示例应用是基于由这种传感器传送的数据，使用可植入的假体装置来治疗失明患者的退化性视网膜。

用于实现上述完全时间冗余抑制的解决方案基于像素个体的预处理和图像信息的获取，所述获取是由事件控制的并且是有条件地(即，仅在检测到场景变化时)。如下所述，图像数据获取的控制被转移到像素级。