[发明专利]红外光引导的肖像重照明

说明书

一种成像系统包括处理器、存储器、被配置成记录场景的第一图像的可见光相机和被配置成记录场景的第二图像的红外相机。处理器被配置成执行存储在存储器中的指令以将第一图像和第二图像输入到神经网络中。神经网络基于第二张图像的特性对第一图像进行重照明，以对应于场景在规范光照条件下的图像。

技术领域

本说明书涉及电子成像，并且具体地，涉及用于对场景和肖像进行成像的摄影照明。

背景技术

数字摄影术使用包含电子光电检测器阵列的相机来捕获由透镜聚焦的图像。所捕获的图像被数字化并存储为准备进一步数字处理、查看、电子出版或数字印刷的计算机文件。数字图像或相片简单地记录光、颜色和阴影的图案；照明在控制图像的质量中极为重要。需要适当的光照来捕获被适当地曝光(例如，不太暗或褪色)、具有正确的颜色和阴影、并且不受照明伪影(例如，阴影、闪光灯反射或条纹等)困扰的图像。在一些类型的摄影术(例如，肖像摄影术)中，传统上已使用精细或复杂的照明设置(例如，3点照明设置)(例如，由专业摄影师在工作室设定中使用)来可控地照明被摄体的面部以用于被摄体的面部的质量图像再现。消费者数码相机(例如，与智能电话集成)现在在普通消费者(即，非专业摄影师)手中无处不在。数码相机电话已改变传统摄影术的观念，主要是因为更容易随身携带放在人的口袋里的相机电话。用户现在在各种各样的不受控光照条件下使用数码相机自由地拍摄场景(包括例如肖像)的相片。对于数码相机摄影术，光照可以由“设备上”光源(例如，附接到相机的小光源/闪光灯)提供。对于数码相机摄影术，仍然需要能够复制或模拟用于在较大设定中(例如，由专业摄影师在工作室设定中)进行质量成像的传统受控照明设置的小型(例如，袖珍型)照明设置。

发明内容

在一般方面中，一种成像系统包括：可见光相机，该可见光相机被配置成记录场景的第一图像；以及红外相机，该红外相机被配置成记录场景的第二图像。该成像系统还包括处理器和存储器。该成像系统能够包括或耦合到神经网络。处理器被配置成执行存储在存储器中的指令以将第一图像和第二图像输入到神经网络中。神经网络基于第二图像的特性对第一图像进行重照明，以对应于场景在规范光照条件下的图像。规范光照条件包括三点照明设置的主光、补充光和背光。

在一个方面中，该成像系统包括被配置成用红外光照照射场景的红外光源。该红外光源能够与红外相机的投影中心并置。可见光相机和红外相机能够被并置并且具有相同或重叠的视场。

在一个方面中，处理器被配置成操作可见光相机和红外相机以在单个曝光周期中同时地记录第一图像和第二图像。

在一个方面中，包括在成像系统中或耦合到成像系统的神经网络是卷积神经网络(例如，U-Net)。神经网络通过以下步骤中的至少一个对第一图像进行重照明：去除阴影、去除镜面伪影、以及合成镜面特征。

在一般方面中，一种计算机实现的方法包括：接收由RGB相机在照明环境中记录的场景的红色-绿色-蓝色RGB图像；获得由红外相机在场景的红外光光照下记录的场景的红外图像；将场景的RGB图像和红外图像两者输入到神经网络中，该神经网络基于场景的红外图像的特性对RGB图像进行重照明；以及接收重照明后的RGB图像作为神经网络的输出。神经网络通过以下步骤中的至少一个对第一图像进行重照明：去除阴影、去除镜面伪影、以及合成镜面特征。在一个方面中，获得场景的红外图像包括并置RGB相机和红外相机。

在一个方面中，获得场景的红外图像包括在由RGB相机记录场景的RGB图像的同时记录红外图像。