[发明专利]获取图像信号处理器的架构的方法和装置

说明书

本公开实施例提供一种获取图像信号处理器的架构的方法和装置，获取图像信号处理器中的多个处理模块；根据所述多个处理模块生成所述图像信号处理器的待优化架构；对所述待优化架构中的每个处理模块进行训练，根据至少一个训练后的所述处理模块确定所述图像信号处理器的优化架构。

技术领域

本公开涉及图像处理技术领域，尤其涉及获取图像信号处理器的架构的方法和装置。

背景技术

在数字相机中，图像信号处理器(Image Signal Processor，ISP)用于将图像传感器捕获的信号转换为人们能够感知和理解的图像。图像传感器的不同架构获得的图像处理效果往往是不同的，因此，为了获得较好的图像处理效果，有必要针对不同的场景采用不同的图像传感器架构。然而，传统的针对图像传感器的优化方式通常是采用固定的图像传感器架构，仅对架构的参数进行调整。

发明内容

本公开提供一种获取图像信号处理器的架构的方法和装置。

根据本公开实施例的第一方面，提供一种获取图像信号处理器的架构的方法，所述方法包括：获取图像信号处理器中的多个处理模块；根据所述多个处理模块生成所述图像信号处理器的待优化架构；对所述待优化架构中的每个处理模块进行训练，根据至少一个训练后的所述处理模块确定所述图像信号处理器的优化架构。

在一些实施例中，所述获取图像信号处理器中的多个处理模块，包括：在所述多个处理模块中的第一处理模块不可微分的情况下，获取所述第一处理模块对应的代理网络；和/或在所述多个处理模块中的第二处理模块可微分的情况下，获取所述第二处理模块。

在一些实施例中，所述待优化架构包括多级节点，所述多级节点中的每级节点包括所述多个处理模块中的每个处理模块；所述根据至少一个训练后的所述处理模块确定所述图像信号处理器的优化架构，包括：根据第i级节点的各个训练后的所述处理模块，确定所述第i级节点的第一目标处理模块；i为正整数；根据各级节点的第一目标处理模块确定所述图像信号处理器的优化架构。

在一些实施例中，所述每级节点中的至少一个第一级节点还包括一个跳跃连接模块；所述跳跃连接模块用于在所述待优化架构中跳过与所述跳跃连接模块处于同一级的各个处理模块。

在一些实施例中，所述对所述待优化架构中的每个处理模块进行训练，包括：对所述待优化架构中的每个处理模块进行第一训练，以调整所述每个处理模块的权重；和/或对所述待优化架构中的每个处理模块进行第二训练，以调整所述每个处理模块的输入参数。

在一些实施例中，所述对所述待优化架构中的每个处理模块进行第一训练，包括：获取所述待优化架构的第一损失函数，根据所述第一损失函数分别对所述待优化架构中各个处理模块的输入参数进行更新；获取更新后的待优化架构的第二损失函数；根据所述第二损失函数，分别对所述待优化架构中的各个处理模块进行第一训练。

在一些实施例中，所述根据第i级节点的各个训练后的处理模块，确定所述第i级节点的第一目标处理模块，包括：将第i级节点的权重最大的处理模块作为所述第i级节点的第一目标处理模块。

在一些实施例中，所述方法还包括：在对所述待优化架构中的每个处理模块进行第一训练之后，根据所述第i级节点包括的各个处理模块的权重，从所述第i级节点包括的各个处理模块中删除第二目标处理模块。

在一些实施例中，所述根据所述第i级节点包括的各个处理模块的权重，从所述第i级节点包括的各个处理模块中删除第二目标处理模块，包括：将所述第i级节点包括的处理模块中优化权重小于所述第i级节点的权重阈值的处理模块作为所述第二目标处理模块删除掉。

在一些实施例中，所述第i级节点的权重阈值根据以下方式确定：将所述第i级节点包括的处理模块的最大权重与相对阈值的乘积确定为所述第i级节点的权重阈值。