[发明专利]根据单输入生成多曝光帧的系统和方法

权利要求书

1.一种方法，包括：

使用电子设备的至少一个图像传感器获得场景的第一图像帧；

使用卷积神经网络根据所述第一图像帧生成被模拟为具有不同曝光的多个第二图像帧，其中，每个第二图像帧中的所述场景中的一个或多个物体与至少另一第二图像帧中的所述场景中的一个或多个相应物体对准并且与所述第一图像帧中的所述场景中的一个或多个相应物体对准；以及

将所述多个第二图像帧混合以生成所述场景的最终图像。

2.根据权利要求1所述的方法，其中，所述多个第二图像帧包括：

第一生成图像帧，所述第一生成图像帧被模拟为具有指定曝光；

第二生成图像帧，所述第二生成图像帧被模拟为具有比所述指定曝光更长的第二曝光；以及

第三生成图像帧，所述第三生成图像帧被模拟为具有比所述指定曝光更短的第三曝光。

3.根据权利要求2所述的方法，其中，所述卷积神经网络针对所述多个第二图像帧的全部，在公共编码器路径中执行操作；并且针对所述多个第二图像帧的不同第二图像帧，在不同解码器路径中执行不同的操作。

4.根据权利要求3所述的方法，其中，每个解码器路径包括至少一个解码器级，所述至少一个解码器级包括上采样层、卷积层和可分离卷积层。

5.根据权利要求3所述的方法，其中：

用于所述第二生成图像帧的解码器路径包括比用于所述第一生成图像帧的解码器路径更多的解码器级；并且

用于所述第三生成图像帧的解码器路径包括比用于所述第一生成图像帧的解码器路径更少的解码器级。

6.根据权利要求1所述的方法，其中：

所述场景的所述第一图像帧是原始格式的；

所述多个第二图像帧是YUV格式的；并且

所述卷积神经网络执行原始到YUV的转换。

7.根据权利要求1所述的方法，其中，将所述多个第二图像帧混合以生成所述最终图像包括：

使用所述多个第二图像帧中的至少一部分执行降运动模糊MBR去重影操作、MBR混合操作或高动态范围HDR混合操作中的至少一个。

8.根据权利要求1所述的方法，其中，通过以下操作训练所述卷积神经网络：

获得场景的多个初始图像帧，所述多个初始图像帧包括多个目标图像帧；

生成输出图像；

计算损失函数，所述损失函数指示所述目标图像帧与所生成的输出图像之间的差异；

基于所述损失函数更新与所述卷积神经网络的参数相关联的权重；以及

以迭代方式重复所述生成操作、所述计算操作和所述更新操作一次或多次。

9.一种电子设备，包括：

至少一个图像传感器；以及

至少一个处理设备，被配置为：

使用所述至少一个图像传感器获得场景的第一图像帧；

使用卷积神经网络根据所述第一图像帧生成被模拟为具有不同曝光的多个第二图像帧，其中，每个第二图像帧中的所述场景中的一个或多个物体与至少另一第二图像帧中的所述场景中的一个或多个相应物体对准并与所述第一图像帧中的所述场景中的一个或多个相应物体对准；并且

将所述多个第二图像帧混合以生成所述场景的最终图像。

10.根据权利要求9所述的电子设备，其中，所述多个第二图像帧包括：

第一生成图像帧，所述第一生成图像帧被模拟为具有指定曝光；

第二生成图像帧，所述第二生成图像帧被模拟为具有比所述指定曝光更长的第二曝光；以及

第三生成图像帧，所述第三生成图像帧被模拟为具有比所述指定曝光更短的第三曝光。

11.根据权利要求10所述的电子设备，其中，所述卷积神经网络被配置为针对所述多个第二图像帧的全部，在公共编码器路径中执行操作，并且针对所述多个第二图像帧的不同第二图像帧，在不同解码器路径中执行不同的操作。