[发明专利]用于对图像数据执行分析的方法和设备

说明书

用于将例如深度学习算法等数据分析应用于传感器数据的方法和设备。在一个实施例中，公开了一种电子装置，例如相机设备，其包含与图像传感器通信的深度学习加速器(DLA)，所述相机设备被配置成在一个变体中使用所述DLA来评估来自所述图像传感器的未处理的传感器数据，所述相机设备将传感器数据直接提供到所述DLA，绕过图像信号处理以便改进所述DLA的有效性，比使用常规方法更快地获得DLA结果，并且进一步允许所述相机设备节省电力。

优先权

本申请要求第16/874,504号共同拥有和共同未决美国专利申请的优先权，所述美国专利申请的标题为“用于对图像数据执行分析的方法和设备(METHODS AND APPARATUSFOR PERFORMING ANALYTICS ON IMAGE DATA)”，于2020年5月14日提交。

技术领域

本公开大体上涉及处理由图像传感器捕获的数据的方法和设备，并且更具体地说，在一个示范性方面，涉及对原始传感器数据执行分析，例如深度学习算法。

背景技术

近年来出现了多种类型的数据分析。举例来说，所谓的“深度学习”(或深度结构化学习)算法是一种依赖人工神经网络来执行其任务的机器学习。

深度学习网络已被证明在各种人工智能应用中非常有效，所述应用包含用于例如检测和标识对象的计算机视觉应用。因此，需要计算机视觉能力的系统可将相机设备与实施基于深度学习的计算机视觉的硬件或软件集成。

当前的计算机视觉方法，包含基于深度学习的方法，通常应用于已经格式化和处理的主要用于显示的数字图像(即，人可以看到的数字图像)。大多数的数码相机装置包含机载图像信号处理(ISP)，其执行多种操作以便将初始传感器数据变换为如下的图像数据：(i)呈可用于生成用于显示的图像的格式(例如，JPEG)，并且(ii)与人类感知(即，人的视觉期望)相关联。举例来说，一些常见的ISP操作包含去马赛克、色彩空间转换、色彩平衡、伽马校正和光学校正。图像信号处理器通常直接链接到相机传感器，使得由相机传感器收集的传感器数据立即变换为“图像数据”。因此，与相机装置相关联的任何深度学习方法在常规上是对已经由ISP处理的图像数据执行的。

图1A是常规相机系统100的框图，所述相机系统具有集成在相机112内的图像信号处理器(ISP)104和深度学习加速器(DLA)110两者。

图1B示出了使用图1A的相机系统100的方法120。具体地说，在方法120的步骤122中，图像传感器102首先获得传感器数据，并将表示图像或视频的传感器数据传输到ISP104。

在步骤124中，ISP 104对传感器数据执行各种图像处理功能以产生一或多个图像文件。举例来说，ISP操作可执行去马赛克和色彩空间转换，以将个别光电传感器数据变换为与图像文件中的个别像素相关联的红/绿/蓝(RGB)值。举例来说，如果图像传感器102的光电传感器布置为非矩形网格，则ISP计算以矩形矩阵布置的图像像素的值。

在步骤126中，编码器106对图像文件进行编码，且在步骤128中，经由输出模块108(例如，基带处理器单元，例如CPU或GPU或DSP)将编码的图像文件传输到外部装置。

在步骤130中，将DLA 110内的深度学习算法应用于ISP后图像文件。在步骤132中，可将DLA的结果从相机传输到外部装置。

图2A示出了常规相机系统200的另一配置的框图，其中ISP 204与相机214集成，且深度学习程序210位于相机214外部的装置216上。图2B示出了使用图2A的相机系统200的方法220。

方法220的步骤222到226以与图1A的方法120的步骤122到126类似的方式执行。