[发明专利]图像传感器架构

说明书

一种图像传感器，包括：第一集成电路层，包括基于位置分组成像素传感器群组的像素传感器；与第一集成电路层电连通的第二集成电路层，该第二集成电路层包括被配置为各自从对应像素传感器群组接收像素信息的图像处理电路群组，图像处理电路群组进一步被配置为在图像传感器的操作期间对像素信息执行图像处理操作以提供经处理像素信息；与第二集成电路层电连通的第三集成电路层，并且第三集成电路层包括被配置为各自从对应图像处理电路群组接收经处理像素信息且在图像传感器的操作期间对经处理像素信息执行对象检测的分析的神经网络电路群组。

相关申请的交叉引用

本申请要求2019年4月5日提交的美国专利申请第16/376,634号的优先权，其完整内容以引用的方式并入本文中。

背景技术

本说明书涉及图像传感器及包括图像传感器的系统。

发明内容

本说明书描述与图像传感器相关的技术，图像传感器捕获图像且对图像传感器执行处理以检测对象。本说明书进一步描述用于将数据从图像传感器传输至远程处理器的数据传输协议。

一般而言，本说明书中描述的主题内容的一个新颖方面可以以一种图像传感器体现，该图像传感器包括：第一集成电路层，包括基于位置分组成像素传感器群组的像素传感器；与第一集成电路层电连通的第二集成电路层，第二集成电路层包括被配置为各自从对应像素传感器群组接收像素信息的图像处理电路群组，图像处理电路群组进一步被配置为在图像传感器的操作期间对像素信息执行图像处理操作以提供经处理像素信息；与第二集成电路层电连通的第三集成电路层，第三集成电路层包括被配置为各自从对应图像处理电路群组接收经处理像素信息的神经网络电路群组，神经网络电路群组进一步被配置为在图像传感器的操作期间对经处理像素信息执行对象检测的分析；以及输出指示通过神经网络电路群组的对象检测的分析的结果的信息的电路，其中，第一集成电路层堆叠于第二集成电路层上，并且第二集成电路层堆叠于第三集成电路层上。

此方面的其他实施例包括执行对应于图像传感器的动作且执行动作以形成图像传感器的对应方法。

这些及其他实施例可各自可选地包括以下特征中的一个或多个。在一些方面中，对象检测的分析的结果包括由以下各项组成的组中的至少一个：表示检测的像素的选定所关注区域；包含时间和几何位置信息的元数据；在对象检测之前的中间计算结果；关于网络确定性水平的统计信息；以及检测对象的分类。在某些方面中，神经网络电路群组各自包括被配置为实施卷积神经网络的电路。

在一些方面中，卷积神经网络各自检测由对应于与神经网络电路群组对应的图像处理电路群组的像素传感器群组感测的对象。在一些实施方式中，第三集成电路层包括被配置为实施循环神经网络的电路。在某些方面中，循环神经网络接收关于由全部神经网络电路群组检测的对象的信息,并检测跨像素传感器群组中的多个像素传感器群组感测的对象。

在一些方面中，神经网络电路群组中的每一个定位在将经处理像素信息提供至神经网络电路群组的图像处理电路群组正下方。在某些方面中，图像处理电路群组中的每一个定位在将像素信息提供至图像处理电路群组的像素传感器群组正下方或紧邻将像素信息提供至图像处理电路群组的像素传感器群组。在一些实施方式中，第一集成电路层、第二集成电路层和第三集成电路层集成在单个集成芯片中。

在一些方面中，像素传感器群组中的每一个包括相同数目的像素传感器。在某些方面中，对像素信息执行的图像处理操作包括在处理之前的高动态范围融合。在一些实施方式中，图像处理电路群组中的每一个包括模拟数字转换器。

一般而言，本说明书中描述的主题内容的一个新颖方面可以以一种方法体现，该方法包括动作：获得由图像传感器的像素传感器捕获的多个图像；使用集成在图像传感器中的神经网络电路分析多个图像用于对象检测；针对多个图像中的每一个使用集成在图像传感器中的神经网络电路产生与用于对象检测的多个图像的分析的结果相关的神经网络输出数据；以及从图像传感器传输多个图像中的每一个的神经网络输出数据和多个图像的子集的图像数据而非多个图像中的每一个的图像数据。