[发明专利]一种基于综合增益的高动态范围图像视频处理方法

权利要求书

1.一种基于综合增益的高动态范围图像视频处理方法，其特征在于，包括：

1）利用摄像机内置的AGC功能，提取视频画面的内容和整体亮度变化，用于图像HDR处理中调节曝光参数；

2）根据带有AGC的摄像机的特殊性，并结合了一般的摄像机模型，提出了综合增益值的概念，并进一步提出了带有AGC的摄像机模型，按照此模型从视频中恢复出所有关键帧的综合增益值；将视频HDR的处理转化为图像HDR处理的方式，恢复出全局HDR图像；最终按照帧对齐的逆变换，得到处理后的HDR视频；并在恢复出关键帧的过程中加入关键帧选取和关键帧分组的步骤，有效地减少了计算量，提高了处理速度。

2.根据权利要求1所述一种基于综合增益的高动态范围图像视频处理方法，其特征在于，所述将视频HDR的处理转化为图像HDR处理，从视频中恢复出所有关键帧的综合增益值，恢复出全局HDR图像的过程包括步骤：首先输入摄像机拍摄的视频；在恢复出关键帧的过程中进行关键帧选取，将选取的关键帧的划分为关键帧和非关键帧，然后，关键帧和非关键帧分别进行对齐，并将关键帧对齐的信息输入非关键帧对齐步骤，非关键帧对齐后，则生成HDR视频、结束；在关键帧对齐后对关键帧分组、计算综合增益值、关键帧的插值补偿、特征点选取、计算HDR全局图像及色调映射，按照帧对齐的逆变换生成HDR视频，得到处理后的HDR视频，程序结束。

3.根据权利要求1或2所述一种基于综合增益的高动态范围图像视频处理方法，其特征在于，所述综合增益值是在摄像机中以感光度的形式存在，较低的增益值产生的感光度较低，使得到的图像整理较暗；而较高的增益值产生的感光度较高，能够使图像的整体变得更亮，但是会带来更多的噪声影响，所以，可以把增益值作为对原始输入亮度的一种补偿，以图像上某像素点p_k为例，当摄像机没有AGC功能或者AGC功能关闭时，符合一般摄像机模型：

I′^t(p_k)=f(E(p_k)·ΔT_t)

其中，I′^t(p_k) 表示像素点p_k在最终拍摄得到的图像上的亮度值，f(·)表示摄像机的特征函数，ΔT_t表示拍摄第t帧时摄像机的曝光时间, E(p_k)表示p_k点在真实环境中对应点的真实亮度值。而当摄像机的AGC功能打开时，则符合得到带有AGC功能的摄像机模型：

I′^t(p_k)=f(E(p_k)·G_tΔT_t)

其中，G_t表示拍摄第t帧时摄像机的增益（Gain）值，由于摄像机在拍摄每帧图像的时候，增益值都在变化，所以不同帧的增益值也不相同，令S_t=G_tΔT_t，可以得到：

I′^t(p_k)=f(E(p_k)·S_t)

称S_t为综合增益值，用来表示视频拍摄时AGC和曝光设置共同起作用的效果。

所述各个关键帧的综合增益值由下式计算：

minΣpk∈PsΣt∈uGi[g(I′t(pk))-lnE(pk)-lnSt]2s.t.|g′′(I)|<ϵ∀I∈[1,255]|SmSn-LmLn|<ϵ∀m,n∈uK]]>，

其中，min和s.t. 表示一个约束方程式，g(·)是f(·)的反函数，即g(·)=f^-1(·) ，表示第G_i组关键帧中的关键帧号集合，u_K表示整个视频中所有关键帧的帧号集合，P_s表示第G_i组关键帧共同覆盖的点集，L_t表示第t帧上所有像素点集的平均亮度。

4.根据权利要求1所述一种基于综合增益的高动态范围图像视频处理方法，其特征在于，所述按照帧对齐的逆变换生成HDR视频是利用关键帧和非关键帧到全局图像上的对齐变换，在全局HDR图像上进行逆变换，从全局HDR图像上恢复HDR视频帧，将HDR全局图像进行色调映射，得到色调映射后的HDR全局图像为

lnE(pk)=Σt∈uKw(I′t(pk))(g(I′t(pk))-lnSt)Σt∈uKw(I′t(pk))]]>；

其中，w(·)表示加权函数，一般来说，当像素亮度值更接近像素最高亮度值的一半（通常为128）的时候权重最高，然后分别向低亮度值和高亮度值方向依次递减。