[发明专利]一种快速的HDR视频重建方法

说明书

高质量的视频在SLAM和视频监控中非常重要，它可以清晰地监控感兴趣的物体或活动，提高SLAM的定位精度。将低质量的视频转化为高质量的视频越来越成为机器人任务的关键，高动态范围(HDR)成像技术代表了高质量的图像，并得到了越来越广泛的应用。与传统的低动态范围(LDR)图像和视频提供的像素相比，HDR图像和视频中包含的像素代表了更大的颜色和亮度范围。HDR成像是一种用于照相的技术，它比标准数码相机捕捉到更大的动态亮度范围。HDR成像的目的是产生一个类似于人类视觉系统所观察到的真实世界的亮度范围，使观察者获得更真实、更具吸引力的体验。

一、技术领域

本发明提出了一种采用分而治之的策略加速LDR视频重建HDR视频的方法，属于HDR视频重建领域。

二、背景技术

高质量的视频在SLAM和视频监控中非常重要，它可以清晰地监控感兴趣的物体或活动，提高SLAM的定位精度。将低质量的视频转化为高质量的视频越来越成为机器人任务的关键，高动态范围(HDR)成像技术代表了高质量的图像，并得到了越来越广泛的应用。与传统的低动态范围(LDR)图像和视频提供的像素相比，HDR图像和视频中包含的像素代表了更大的颜色和亮度范围。真实场景的亮度可以从明亮的阳光直射到极端的阴影。标准数码相机通常使用8位来表示图像的每个色通道，其中一个主要的缺点是这种表示方法不能捕捉真实场景中的所有亮度范围。HDR成像是一种用于照相的技术，它比标准数码相机捕捉到更大的动态亮度范围。HDR成像的目的是产生一个类似于人类视觉系统所观察到的真实世界的亮度范围，使观察者获得更真实、更具吸引力的体验。

为了实现从LDR图像重建HDR，反色调映射算法有很大的潜力，通过恢复给定图像中丢失的信号将大量原始LDR图像转换为HDR图像，但这些算法只能在特定类型的场景中执行。近年来，随着深度学习技术的迅速发展，提出了基于神经网络的高动态范围图像重建方法。 Endo等人、Lee等人和Eilertsen等人利用深度神经网络成功地恢复了丢失的动态范围。

本文提出了一种基于分治策略的运动目标监控/静态摄像机HDR视频帧重建的快速方法。分治策略在其他领域和研究课题中也有应用，但在HDR视频重建问题中却从未被探讨过。我们在HDR视频重建中探索了这种有效的策略来探索视频中的时间信息，这是以前从未被有效探索过的。具体来说，我们首先使用目标检测方法将前景从整个图像中分离出来，然后训练指定的背景和前景网络，通过上下文感知约束连接起来。一旦两者都训练好，这个框架就把背景和前景合成成HDR视频帧。为了克服合成过程中前景和背景色调不一致的问题，设计了一种上下文感知丢失约束，为前景HDR的背景训练提供上下文信息。实验结果表明，该方法可以在更短的时间内重建出高质量的HDR视频帧。

三、发明内容

针对具有运动目标的监控摄像机，本发明提出了一种采用分治策略加速HDR视频帧重建的方法。该框架由两个连接的CNN分支组成，对整个HDR视频重建过程进行建模。在这个过程中，我们使用目标检测算法来分离视频帧的前景和背景，然后训练CNN分支来重建背景和前景帧，并将两个分支连接起来。将增强后的HDR前景和背景进行合成，重建最终的HDR视频帧。提出了端到端框架下的上下文感知丢失约束，以消除合成过程中前景和背景色调不一致的问题。我们在基准数据集上验证了本发明提出的方法，结果表明该方法能够准确地重建HDR视频帧，在保证每个视频帧的HDR图像效果的同时，大大缩短了重建HDR视频的时间。

表一 不同方法的定量比较

五、具体实施方式

1.制作目标视频场景。本发明提出了一种从LDR视频帧中重建HDR视频帧的快速方法，对于视频序列，我们首先使用快速目标检测算法来分离背景和前景；然后对背景网络和前景网络进行训练，生成背景HDR帧和前景HDR帧，并对其进行合成，重构出最终的HDR视频帧。