[发明专利]一种基于视频的天气现象识别方法

权利要求书

1.一种基于视频的天气现象识别方法，其特征在于，包括以下步骤：

步骤1，离线分类器训练：对训练样本中的训练视频，首先采样出图像序列，提取视频特征，然后从图像序列中提取关键帧图像并对其进行图像特征提取，最后将视频特征和图像特征融合，并采用由随机森林作为弱分类器构成的AdaBoost强分类器，进行监督学习训练，得到天气现象的分类器；

步骤2，在线天气现象识别：对给定的一段测试视频，间隔固定的时间进行采样得到n组图像序列，n为自然数，提取每组图像序列的视频特征和图像特征，将所有特征送入步骤1获得的分类器中进行测试，得到每个图像序列对应的天气现象识别结果，对n个识别结果通过投票方式进行决策融合，以出现次数最多的天气现象类别作为测试视频最终的识别结果。

2.根据权利要求1所述的方法，其特征在于，步骤1离线分类器训练具体包括以下步骤：

步骤11，视频特征提取：从训练视频中每隔一段时间提取一组图像序列，对于每一组图像序列，将图像等间距地划分成6×8的子区域，计算每个子区域在这组图像序列中的相关性特征，相关性特征维度为96维；采用码书的方法对图像序列进行运动检测，对于运动检测分离得到的前景图像序列，等间隔采样两帧，将每帧图像等间距地划分成6×8的子区域，计算每个子区域的纹理特征，纹理特征维度为288维；则总的视频特征为总特征维度为384维；

视频特征提取的具体步骤为：

步骤111，相关性特征提取：对于图像序列H＝{H₁,…,H_t,…,H_T}，H_t为H中第t帧图像，T为H的长度，将其中每个图像等间距地划分成6×8的子区域，计算每个子区域中各点的像素值在图像序列中不同时刻之间的相关性特征，位置λ处的相关性特征计算公式为：

ρλ(t′)=Σt=1T-t′(Hλ,t-Hλ‾)(Hλ,t′-Hλ‾)Σt=1T(Hλ,t-Hλ‾)2,t′=0,1,...,T-1,]]>

式中t和t'分别表示在序列{H_λ,t},t∈{1,…,T}中的当前帧数和间隔帧数，t'取值0～T-1，H_λ,t为帧数t时位置λ处的像素值，代表序列{H_λ,t},t∈{1,…,T}的均值，即Hλ‾=1TΣt=1THλ,t;]]>

提取短时自相关S和时间平均自相关U两个特征：

S=meanλ∈Ω(f^λ(0))U=meanλ∈Ω(Σt′=0T-1ρλ(t′)T),]]>

式中Ω为48个子区域中的一个图像区域，为ρ_λ(t')的二次多项式拟合，mean()为取均值函数，48个子区域共得到48组S和U的值，共96维；

步骤112，运动图像纹理特征提取：首先采用码书的方法对图像序列进行运动检测得到运动前景的图像序列，然后从运动前景的图像序列中等间隔采样两帧图像，并将每帧图像等间距地划分成6×8的子区域，最后提取每个子区域的纹理特征，纹理特征包括对比度Contrast、能量Energy和同质性Homogenity，两帧图像总共提取288维特征；其具体步骤为：

步骤1121，运动检测：首先将图像序列H＝{H₁,…,H_t,…,H_T}转化为灰度图像序列，并按灰度值0～255等间隔划分为16个区间，然后计算图像序列中所有图像在同一像素位置处的灰度值分布，具体为用codebook(i,j,w)表示在图像的坐标(i,j)处的像素灰度值g落在第w个灰度区间的概率，w＝1,…,16；在进行运动前景的区分时，用码书作为参照表区分前景与背景，对于任一坐标(i,j)处的灰度值g，计算其所对应的灰度区间w，查找码书对应的codebook(i,j,w)的值，如果大于给定阈值则判定为背景，否则为前景；另外，当前景的亮度值小于给定的另一个阈值时判断该像素点处不存在雨雪；

步骤1122，纹理特征：从步骤1121运动检测后的前景图像序列中等间隔采样两帧，并将每帧图像等间距地划分成6×8的子区域，对于其中的一个子区域图像ε，当距离向量为时的灰度共生矩阵函数C表示为：

式中di和dj分别为向量在图像坐标i方向和j方向分量的增量，M和N为子区域图像ε的宽和高，ε(i,j)为图像ε在坐标(i,j)处的像素值，(i,j)和(i+di,j+dj)为图像ε中距离d的两个像素点的坐标位置，u和v为对应的像素值，card{}为统计子区域图像ε中满足条件的点对出现的次数；

如果有一组距离向量为距离向量组Δ中第θ个距离向量，θ＝1,…,μ，μ为距离向量组Δ中距离向量的个数，取均值记为灰度共生矩阵函数C，即，

对比度Contrast、能量Energy和同质性Homogenity在灰度共生矩阵的基础上提取，计算公式分别为：

Contrast=Σu=0G-1Σv=0G-1(u,v)2C(u,v),]]>

Energy=Σu=0G-1Σv=0G-1C2(u,v),]]>

Homogenity=Σu=0G-1Σv=0G-1C(u,v)1+(u-v)2,]]>

式中G为图像的灰度级；

步骤12，图像特征提取：提取图像序列的关键帧，将关键帧转化到HSV颜色空间，H为色度，S为饱和度，V为亮度，并将转化后的图像等间距地划分成6×8的子区域，计算每个子区域的颜色特征、亮度特征和清晰度特征，相应特征组合为总的图像特征特征维度为288，图像特征的提取具体步骤为：

步骤121，关键帧提取：对图像序列H＝{H₁,…,H_t,…,H_T}，取同一像素位置的所有像素值的均值作为关键帧在该位置的值，即式中Ht(i,j)为图像序列H中第t帧图像在坐标(i,j)处的像素值，T为图像序列的长度，J(i,j)为关键帧在坐标(i,j)处的像素值；

步骤122，颜色特征提取：将关键帧图像转化到HSV颜色空间后，划分成6×8的子区域，提取每个子区域的颜色特征；在HSV图像空间中，对颜色区间进行划分，其颜色的划分如表1所示，提取每个子区域的红-黄色和黄色所占比重作为颜色特征，共96维特征；

表1 HSV空间的颜色划分

步骤123，亮度特征提取：将关键帧图像转化到HSV颜色空间，并将V分量的图像等间距地划分成6×8的子区域，提取每个子区域的亮度特征；对于每个子区域，提取区域所有像素的亮度均值作为特征，即其中V_λ为区域Ω中位置λ处的亮度值，Ω为48个子区域中的一个，共48维特征；

步骤124，清晰度特征提取：将关键帧图像转化到HSV颜色空间，并将S分量的图像等间距地划分成6×8的子区域，提取每个子区域I的清晰度特征，提取平均梯度AG、峰值信噪比PSNR和均方差对比度SC作为清晰度特征，共144维特征；平均梯度AG的计算公式为：

AG=1(M-1)(N-1)Σi=1M-1Σj=1N-1(I(i+1,j)-I(i,j))2+(I,(i,j+1)-I(i,j))2,]]>

式中M和N分别为图像子区域的高和宽，I(i,j)为图像子区域在坐标(i,j)处的像素值；峰值信噪比PSNR的计算公式为：

PSNR=10·log10(MAXI2MSE),]]>

式中MAX_I为图像子区域I的最大像素值；均方差MSE计算公式为：

MSE=1MNΣi=1MΣj=1N||I(i,j)-Z(i,j)||2,]]>

式中I和Z分别对应子区域图像和直方图均衡化后的子区域图像；

均方差对比度SC的计算公式如下：

SC=(ΣI2(i,j)-(ΣI(i,j))2NINI)12,]]>

式中N_I为图像子区域中像素点的个数；

步骤13，AdaBoost分类器训练：按步骤11和步骤12提取训练视频每组图像序列的特征向量，同时标注视频样本中场景的天气现象类别，由此得到训练样本集；采用AdaBoost对训练样本集进行训练，生成多个随机森林作为弱分类器并组合成AdaBoost强分类器，具体步骤为：

步骤131，训练样本集生成：按照步骤11和步骤12提取训练视频图像序列的视频特征和图像特征以相同权重融合后作为该序列的特征向量人工标注视频样本中场景的天气类别y，得到训练样本集：

D={x1,y1,...,xα,yα,...,xNx,yNx},]]>

其中x_α和y_α分别为第α个样本的特征向量和天气现象类别，x_α为m维实数向量，y_α∈{1,…,K}，α＝1,…,N_x，N_x为训练样本的数量，K为天气现象的类别数；

步骤132，单个随机森林生成：对步骤131得到的训练样本集D按权重W选择1/2的样本进行一次训练，生成一个由γ棵二叉决策树组成的随机森林；然后对森林中每棵决策树，分别计算决策树上各叶子节点c'处的样本属于不同天气现象类别的概率p(y|c'),y∈{1,…,K}；其具体步骤为：

步骤1321，单棵决策树生成：从训练样本中随机选择特征分量，并按权重选择样本构成子样本训练集；对子样本训练集，集中所有特征分量构造相应的问题集；通过计算最大杂度削减的方法从问题集中选择问题作为根节点的分支标准，将根节点的左右分支分别作为根节点递归进行分支操作，直到满足分支停止条件，从而形成一棵决策树，包括以下步骤：

步骤13211，子样本集选取：从训练样本集D的m维特征中随机选择1/2的特征构成各样本的部分特征样本集D'，从样本集D'中按权重W选择1/2的样本构成子样本集φ；

步骤13212，问题集的构造：子样本集φ的每个特征向量x的维度为m/2，令x＝{X₁，…，X_ω，…X_m/2}，其中X_ω为第ω个特征分量，将样本集φ中特征分量X_ω对应的值从小到大排列得到序列为序列A^ω中第δ个值，N'_x为样本集φ中的样本数，根据样本的特征分量X_ω是否满足条件从序列A^ω中取出N'_x-1个值构成特征分量X_ω的问题集B^ω，则所有特征分量相应的问题集为B＝{B¹,…,B^ω,…,B^m/2}，其中Bω={B1ω,...,Bδω,...,BN′x-1ω},δ=1,...,N′x-1,]]>为问题{Xω≤12(Aδω+Aδ+1ω)},]]>上述问题集B包含(N'_x-1)×m/2个问题；

步骤13213，根节点分支：将第ω个特征分量对应问题集B^ω中第δ个问题作为节点的分支条件，将根节点root分为左分支c_L和右分支c_R两个子节点，其中分至c_L的样本的特征分量值满足分至c_R的样本的特征分量值满足计算分至左分支的概率和分至右分支的概率P_R＝1-P_L，其中N_root为未进行分支时根节点root中的总样本数目，N_left为分支后分到左分支节点的样本数目；计算根节点root采用问题分支后的杂度削减；

Δr(Bδω,root)=r(root)-r(cR)PR-r(cL)PL,]]>

式中r(c)为任意节点c的Gini杂度函数；

r(c)=Σa≠bp(a|c)p(b|c),]]>

其中a和b分别为天气现象的类别，a∈{1,…,K}，b∈{1,…,K}，p(a|c)和p(b|c)分别为节点c中的样本属于类别a和b的概率，循环对子样本集φ所有特征得到的问题集B进行杂度削减计算，求出根节点采用每个问题进行分支后的杂度削减；

Δr(Bδω,root)=r(root)-r(cR)PR-r(cL)PL,δ=1,...,N′x-1,ω=1,...,m/2,]]>

并令找出使根节点的杂度削减最大的问题作为根节点的分支条件，将root分裂成c_L和c_R两个节点，同时将样本集φ分为φ_L和φ_R，φ_L为分支后节点c_L对应的样本集，φ_R为分支后节点c_R对应的样本集，问题集更新为B=B-Bδω;]]>

步骤13214，分裂停止：分别将步骤13213中root分裂而成的c_L和c_R作为根节点，同时将对应的φ_L和φ_R作为训练集，问题集递归进行步骤13213，直到满足如下条件之一：

1)分支后的叶节点中的样本数小于给定的值N_min＝2；

2)分支后的叶节点中的样本属于同一个类；

3)问题集B中没有问题用作分支条件；

步骤1322，多棵决策树生成：重复步骤1321，直到二叉决策树的数目等于γ；

步骤133，AdaBoost强分类器训练，具体步骤为：

步骤1331，初始化参数：设弱分类器随机森林初始个数为0，初始权重为W₁(α)＝1/N_x,α＝1,…,N_x；

步骤1332，训练误差和修改系数计算：对于第k次的计算，首先将权重W_k(α)代入步骤132中训练出一个随机森林F_k，然后用F_k对样本集D进行测试，计算训练误差和修改系数其中N_x为D中样本的数目，N_neg为判别错误的数目；

步骤1333，更新样本权重：由步骤1332计算出第k次的修改系数β_k，则第k+1次权重按Wk+1(α)←Wk(α)×e-βkhk(xα)=yαeβkhk(xα)≠yα]]>更新，其中h_k(x_α)为随机森林F_k对样本点x_α的类别识别结果；归一化权重，

步骤1334，迭代停止：迭代执行步骤1332和1333，直到生成的随机森林数目等于指定的弱分类器的数目。

3.根据权利要求2所述的方法，其特征在于，步骤2包括以下步骤：

步骤21，视频特征提取：对于一段测试视频，每隔一段时间提取一组图像序列，假设采样了n组图像序列，对于每一组图像序列，将图像等间距地划分成6×8的子区域，计算每个子区域在这组图像序列中的相关性特征，相关性特征维度为96维；采用码书的方法对图像序列进行运动检测，对于运动检测分离得到的前景图像序列，等间隔采样两帧，将每帧图像等间距地划分成6×8的子区域，计算每个子区域的纹理特征，纹理特征维度为288维；则总的视频特征为总特征维度为384；视频特征提取的具体步骤为：

步骤211，相关性特征提取：对于图像序列H＝{H₁,…,H_t,…,H_T}，H_t为H中第t帧图像，将其中每个图像等间距地划分成6×8的子区域，计算每个子区域中各点的像素值在H中不同时刻之间的相关性特征，位置λ处的相关性特征的计算公式为：

ρλ(t′)=Σt=1T-t′(Hλ,t-Hλ‾)(Hλ,t′-Hλ‾)Σt=1T(Hλ,t-Hλ‾)2,t′=0,1,...,T-1,]]>

式中T为H的长度，t和t'分别表示在序列{H_λ,t},t∈{1,...T}中的当前帧数和间隔帧数，H_λ,t为帧数t时位置λ处的像素值，代表序列{H_λ,t},t∈{1,...T}的均值；

提取短时自相关S和时间平均自相关U两个特征：

S=meanλ∈Ω(f^λ(0))U=meanλ∈Ω(Σt′=0T-1ρλ(t′)T),]]>

式中Ω为48个子区域中的一个图像区域，为ρ_λ(t')的二次多项式拟合，mean()为取均值函数，48个子区域共得到48组S和U的值，共96维；

步骤212，运动图像纹理特征提取：首先采用码书的方法对图像序列进行运动检测得到运动前景的图像序列，然后从运动前景的图像序列中等间隔采样两帧图像，并将每帧图像等间距地划分成6×8的子区域，最后提取每个子区域的纹理特征，纹理特征包括对比度Contrast、能量Energy和同质性Homogenity，两帧图像总共提取288维特征；其具体步骤为：

步骤2121，运动检测：首先将图像序列H＝{H₁,…,H_t,…,H_T}转化为灰度图像序列，并按灰度值0～255等间隔划分为16个区间，然后计算图像序列中所有图像在同一像素位置处的灰度值分布，具体为用codebook(i,j,w)表示在图像的坐标(i,j)处的像素灰度值g落在第w个灰度区间的概率，w＝1,2,…,16；在进行运动前景的区分时，用码书作为参照表区分前景与背景，对于任一坐标(i,j)处的灰度值g，计算其所对应的灰度区间w，查找码书对应的codebook(i,j,w)的值，如果大于给定阈值则判定为背景，否则为前景；另外，当前景的亮度值小于给定的另一个阈值时判断该像素点处不存在雨雪；

步骤2122，纹理特征：从步骤2121运动检测后的前景图像序列中等间隔采样两帧，并将每帧图像等间距地划分成6×8的子区域，对于其中的一个子区域图像ε，当距离向量为时的灰度共生矩阵函数C表示为：

式中M和N为子区域图像ε的宽和高，ε(i,j)为图像ε在坐标(i,j)处的像素值，(i,j)和(i+di,j+dj)为图像ε中距离d的两个像素点的坐标位置，u和v为对应的像素值，di和dj分别为向量在图像坐标i方向和j方向分量的增量，card{}为统计子区域图像ε中满足条件的点对出现的次数；

如果有一组距离向量μ为距离向量的个数，θ＝1,…,μ，为距离向量组Δ中第θ个距离向量，取均值记为灰度共生矩阵函数C，即，

对比度Contrast、能量Energy和同质性Homogenity在灰度共生矩阵的基础上提取，计算公式分别为：

Contrast=Σu=0G-1Σv=0G-1(u,v)2C(u,v),]]>

Energy=Σu=0G-1Σv=0G-1C2(u,v),]]>

Homogenity=Σu=0G-1Σv=0G-1C(u,v)1+(u-v)2,]]>

式中G为图像的灰度级；

步骤22，图像特征提取：提取图像序列的关键帧，将关键帧转化到HSV颜色空间，H为色度，S为饱和度，V为亮度，并将转化后的图像等间距地划分成6×8的子区域，计算每个子区域的颜色特征、亮度特征和清晰度特征，相应特征组合为总的图像特征为特征维度为288，图像特征的提取具体步骤为：

步骤221，关键帧提取：对图像序列H＝{H₁,…,H_t,…,H_T}，取同一像素位置的所有像素值的均值作为关键帧在该位置的值，即式中H_t(i,j)为图像序列H中第t帧图像在坐标(i,j)处的像素值，T为图像序列的长度，J(i,j)为关键帧在坐标(i,j)处的像素值；

步骤222，颜色特征提取：将关键帧图像转化到HSV颜色空间后，划分成6×8的子区域，提取每个子区域的颜色特征；在HSV图像空间中，对颜色区间进行划分，其颜色的划分如表1所示，提取每个子区域的红-黄色和黄色所占比重作为颜色特征，共96维特征；

步骤223，亮度特征提取：将关键帧图像转化到HSV颜色空间，并将V分量的图像等间距地划分成6×8的子区域，提取每个子区域的亮度特征；对于每个子区域，提取区域所有像素的亮度均值作为特征，即其中V_λ为区域Ω中位置λ处的亮度值，Ω为48个子区域中的一个，共48维特征；

步骤224，清晰度特征提取：将关键帧图像转化到HSV颜色空间，并将S分量的图像等间距地划分成6×8的子区域，提取每个子区域I的清晰度特征，提取平均梯度AG、峰值信噪比PSNR和均方差对比度SC作为清晰度特征，共144维特征；

平均梯度AG的计算公式为：

AG=1(M-1)(N-1)Σi=1M-1Σj=1N-1(I(i+1,j)-I(i,j))2+(I,(i,j+1)-I(i,j))2,]]>

式中M和N分别为图像子区域的高和宽，I(i,j)为图像子区域在坐标(i,j)处的像素值；峰值信噪比PSNR的计算公式为：

PSNR=10·log10(MAXI2MSE),]]>

式中MAX_I为图像子区域I的最大像素值；均方差MSE计算公式为：

MSE=1MNΣi=1MΣj=1N||I(i,j)-Z(i,j)||2,]]>

式中I和Z分别对应子区域和直方图均衡化后的子区域图像；

均方差对比度SC的计算公式如下：

SC=(ΣI2(i,j)-(ΣI(i,j))2NINI)12,]]>

式中N_I为图像子区域中像素点的个数；

步骤23，样本测试：对于从一段测试视频中提取的n组图像序列，将每组图像序列的视频特征和图像特征以相同权重融合到一个特征向量中作为一组图像序列的特征向量分别将每组图像序列对应的特征向量x送入由步骤13得到的AdaBoost强分类器中，得到对应的n个图像序列的识别结果；采用AdaBoost强分类器判别特征向量x的类别的具体步骤为：

步骤231，基于随机森林的识别：步骤132中生成的一个随机森林L由γ棵二叉决策树构成，求出特征向量x经过γ棵决策树识别后属于不同天气现象的概率，并对γ棵树的识别结果中同一天气现象出现的概率求和，得到特征向量x经过随机森林L识别后属于不同天气现象的概率q_L(y|x),y∈{1,…,K}，其具体步骤为：

步骤2311，基于单棵决策树的识别：对于步骤1321中生成的单棵决策树l，提取测试图像序列的特征向量x，从决策树的根节点开始判断，当满足左分支条件时分到左分支，否则分到右分支，接着对分支进行递归判断，直到分到某个叶子节点c'为止；查找步骤132中对应叶子节点c'处的样本属于不同天气现象类别的概率p(y|c'),y∈{1,…,K}，并将其作为决策树的识别结果，由此得到特征向量x经过决策树l识别后属于不同天气现象类别的概率p_l(y|x)＝p(y|c'),y∈{1,…,K}；

步骤2312，基于多棵决策树的识别：图像序列对应的特征向量x经过该随机森林L识别后属于天气现象类别y的概率为其中p_l(y|x)是x对应的样本在决策树l中被判断为天气现象类别y的概率；

步骤232，AdaBoost的识别：设AdaBoost强分类器由N_f个随机森林构成，那么图像序列对应的特征向量x经过AdaBoost识别后属于天气现象类别y的概率为其中q_L(y|x)为特征向量x在随机森林L中被判断为天气现象类别y的概率，N_f为分类器中随机森林的数目，将出现概率最大的天气现象类别作为该图像序列的天气现象类别，即Class(x)＝argmaxQ(y|x)，max为求最大的概率的函数，arg为求最大概率对应的天气现象类别的函数；

步骤24，决策融合：对于步骤23得到的一段视频对应的n个识别结果，按照分类结果次数进行投票，将出现次数最多的天气类别作为最终的识别结果。