[发明专利]图像重建模型的训练方法、图像重建方法及其装置

权利要求书

1.一种图像重建模型的训练方法，其特征在于，包括：

获取待训练模糊图像和待训练事件数据，所述待训练模糊图像是多帧第一高清图像的平均值，所述待训练事件数据包括所述待训练模糊图像对应的时间段内的事件点；

利用所述待训练模糊图像和所述待训练事件数据对图像重建模型进行训练，得到目标图像重建模型，在训练过程中，根据约束条件更新所述图像重建模型的参数以得到所述目标图像重建模型，所述约束条件包括使得所述待训练模糊图像与再模糊图像的差值最小，所述再模糊图像是对多帧第二高清图像进行处理得到的，所述多帧第二高清图像是利用所述图像重建模型对所述待训练模糊图像和所述待训练事件数据进行处理得到的。

2.如权利要求1所述的方法，其特征在于，所述再模糊图像是对所述多帧第二高清图像取平均值得到的。

3.如权利要求1所述的方法，其特征在于，所述再模糊图像是对光流估计结果和所述多帧第二高清图像进行处理得到的，所述光流估计结果是利用光流估计网络对所述待训练模糊图像和所述待训练事件数据进行处理得到的，所述光流估计结果包括所述待训练模糊图像的运动信息。

4.如权利要求3所述的方法，其特征在于，所述再模糊图像是利用所述光流估计结果对所述多帧第二高清图像的至少两个相邻帧之间插入插帧，再对所述插帧和所述多帧第二高清图像进行平均得到的。

5.如权利要求3或4所述的方法，其特征在于，所述约束条件还包括使得多帧光流估计图像中第i帧光流估计图像与所述多帧第二高清图像中第i帧第二高清图像的差值最小，所述多帧光流估计图像是利用所述光流估计结果对所述多帧第二高清图像进行扭曲变换得到的，其中，所述多帧光流估计图像中的第i帧光流估计图像是对所述多帧第二高清图像中的第i+1帧第二高清图像进行扭曲变换得到的，i为大于或等于0且小于所述多帧第一高清图像的帧数的整数。

6.如权利要求5所述的方法，其特征在于，所述多帧光流估计图像中第i帧光流估计图像与所述多帧第二高清图像中第i帧第二高清图像的差值满足下面的公式：

其中，L_warp为所述差值，τ表示所述多帧第一高清图像的帧数，I_i(x)表示第i帧第二高清图像，表示第i帧光流估计图像。

7.如权利要求5或6所述的方法，其特征在于，所述约束条件还包括使得所述多帧光流估计图像中的每帧光流估计图像中相邻像素之间的距离最小。

8.如权利要求1至7中任一项所述的方法，其特征在于，所述约束条件还包括使得所述多帧第二高清图像与所述多帧第一高清图像的差值最小。

9.一种图像重建方法，其特征在于，包括：

获取第一模糊图像和第一事件数据，所述第一事件数据包括所述第一模糊图像对应的时间段内的事件点；

将所述第一模糊图像和所述第一事件数据输入到目标图像重建模型，得到多帧目标高清图像，所述目标图像重建模型是利用权利要求1至8中任意一项所述的方法得到的；

输出所述多帧目标高清图像中的一帧或多帧。

10.如权利要求9所述的方法，其特征在于，所述方法还包括：

对所述第一事件数据进行分段，所述第一事件数据的段数与所述多帧目标高清图像的帧数对应。