[发明专利]红外光引导的肖像重照明

权利要求书

1.一种成像系统，包括：

可见光相机，所述可见光相机被配置成记录场景的第一图像；

红外相机，所述红外相机被配置成记录所述场景的第二图像；

处理器；以及

存储器，

所述处理器被配置成执行存储在所述存储器中的指令以将所述第一图像和所述第二图像输入到神经网络中，所述神经网络基于所述第二图像的特性对所述第一图像进行重照明，以对应于所述场景在规范光照条件下的图像。

2.根据权利要求1所述的成像系统，进一步包括：红外光源，所述红外光源被配置成用红外光照来照射所述场景。

3.根据权利要求2所述的成像系统，其中，所述红外光源与所述红外相机并置。

4.根据权利要求1至3中的任意一项所述的成像系统，其中，所述可见光相机和所述红外相机被并置并且具有相同或重叠的视场。

5.根据前述权利要求中的任意一项所述的成像系统，其中，所述规范光照条件包括三点照明设置的主光、补充光和背光。

6.根据前述权利要求中的任意一项所述的成像系统，其中，所述处理器被配置成操作所述可见光相机和所述红外相机以在单个曝光周期中同时地记录所述第一图像和所述第二图像。

7.根据前述权利要求中的任意一项所述的成像系统，其中，所述神经网络是卷积神经网络。

8.根据权利要求7所述的成像系统，其中，所述卷积神经网络包括U-Net。

9.根据前述权利要求中的任意一项所述的成像系统，其中，所述神经网络通过以下中的至少一个对所述第一图像进行重照明：

去除阴影；

去除镜面伪影；以及

合成镜面特征。

10.一种计算机实现的方法，包括：

接收由红色-绿色-蓝色RGB相机在照明环境中记录的场景的RGB图像；

获得由红外相机在所述场景的红外光光照下记录的所述场景的红外图像；

将所述场景的所述RGB图像和所述红外图像两者输入到神经网络中，所述神经网络基于所述场景的所述红外图像的特性对所述RGB图像进行重照明；以及

接收重照明后的RGB图像作为神经网络的输出。

11.根据权利要求10所述的方法，其中，所述神经网络通过以下中的至少一个对所述RGB图像进行重照明：

去除阴影；

去除镜面伪影；以及

合成镜面特征。

12.根据权利要求10或者11所述的方法，其中，获得所述场景的所述红外图像包括并置所述RGB相机和所述红外相机。

13.根据权利要求12所述的方法，其中，获得所述红外图像包括在由所述RGB相机记录所述场景的所述RGB图像的同时记录所述红外图像。

14.根据权利要求10至13中的任意一项所述的方法，其中，所述神经网络是通过以下被训练的：

提供包括多个光源的光台来可控地照射场景；

提供包括可见光相机和红外相机的相机系统来在受控光照条件下捕获所述场景的图像；

使用所述相机系统来记录训练数据图像集合以用于训练所述神经网络；

通过所述神经网络来处理来自所述训练数据集合的场景的可见光图像和红外图像对以产生所述场景的重照明后的红色-绿色-蓝色RGB图像作为所述场景的输出图像；以及

将所述场景的重照明后的RGB图像输出与所述场景的目标规范RGB图像进行比较，并且调整神经网络参数以减少所述场景的重照明后的RGB图像输出与所述场景的目标规范RGB图像之间的差异。