[发明专利]图像重建模型的训练方法、图像重建方法及其装置

说明书

本申请涉及人工智能领域，具体涉及计算机视觉领域，提供了一种图像重建模型的训练方法、图像重建方法及其装置，该训练方法主要使得图像重建模型能够将重建的高清图像进行再模糊处理，之后将再模糊处理后得到的图像与原始输入的模糊图像进行比较，相当于增加了这个约束条件，从而使得利用训练好的图像重建模型重建得到的高清图像帧序列更加接近原始输入的模糊图像的真实数据，提高重建质量和重建效果。相当于从事件数据和模糊图像中挖掘出了更多的特征，从而提高了重建质量。

技术领域

本申请涉及人工智能中的计算机视觉领域，具体涉及一种图像重建模型的训练方法、 图像重建方法及其装置。

背景技术

运动模糊一般发生在曝光时间内有明显运动的场景，特别是轻量级移动设备在低光环 境下，例如手机和车载相机。虽然运动模糊导致不希望的图像退化，使得视觉内容变得不 易解释，但运动模糊图像还编码关于照相机和观察场景之间相对运动的丰富信息。因此， 从单个运动模糊图像中恢复(重建)清晰帧序列(photo-sequencing)，有助于理解场景的动 态，并在图像重建、自动驾驶和视频监控中具有广泛的应用。运动模糊的图像可以看作曝 光时间内高清帧的平均值。由于平均会破坏帧的时间顺序，因此从单个运动模糊图像中恢 复一组清晰的帧序列是非常不恰当的，也就是说待恢复的序列不具有唯一性，可能存在不 同高清帧的序列组成相同的运动模糊图像。

为了解决待恢复序列的不唯一性，引入了事件相机，事件相机可以提供时间序列帧间 变化来引导序列的恢复。事件相机是生物启发、事件驱动、基于时间的神经形态视觉传感 器，它以与传统相机截然不同的原理感知世界，通过异步工作测量亮度变化，一旦变化超 过阈值，就会触发事件。事件相机摒弃了传统强度相机中曝光时间和帧等概念，能够以无 帧模式(微秒时间分辨率)捕捉几乎连续的运动，因此不会遇到像模糊这样的问题。利用 事件摄像机将非常有助于从模糊的图像中恢复清晰的帧。

现有技术中，基于单张运动模糊图像重建视频序列的方法，引入事件相机数据，通过 关联事件数据与清晰图像，对运动模糊生成过程进行建模(即得到图像重建模型)。但由于事件数据有很大噪声且事件触发的阈值不恒定，使得图像恢复过程中容易出现噪声累加，导致图像重建模型性能难以提升，重建出来的高清图像的质量较低，且现有图像重建模型的求取过程计算复杂度高、计算效率低。

因此，如何提高模糊图像的重建质量是亟待解决的技术问题。

发明内容

本申请提供一种图像重建模型的训练方法、图像重建方法及其装置，能够有效提高模 糊图像的重建质量。

第一方面，提供了一种图像重建模型的训练方法，该训练方法包括：获取待训练模糊 图像和待训练事件数据，待训练模糊图像是多帧第一高清图像的平均值，待训练事件数据 包括待训练模糊图像对应的时间段内的事件点；利用待训练模糊图像和待训练事件数据对 图像重建模型进行训练，得到目标图像重建模型，在训练过程中，根据约束条件更新图像 重建模型的参数以得到目标图像重建模型，约束条件包括使得待训练模糊图像与再模糊图 像的差值最小，再模糊图像是对多帧第二高清图像进行处理得到的，上述多帧第二高清图 像则是利用图像重建模型对待训练模糊图像和待训练事件数据进行处理得到的。

在本申请技术方案中，主要使得图像重建模型能够将重建的高清图像(第二高清图像) 进行再模糊处理，之后将模糊处理后得到的图像(再模糊图像)与原始输入的模糊图像(待 训练模糊图像)进行比较，相当于增加了这个约束条件，从而使得利用训练好的图像重建 模型重建得到的高清图像帧序列更加接近原始输入的模糊图像的真实数据，提高重建质量 和重建效果。相当于从事件数据和模糊图像中挖掘出了更多的特征，从而提高了重建质量。 该约束条件可以称之为自一致性约束。

对多帧第二高清图像进行再模糊处理的方法可以有多种，例如可以是直接对多帧第二 高清图像进行处理，又例如可以是结合光流估计结果和第二高清图像来进行处理。