[发明专利]一种基于密集尺度不变特征转换字典学习的高精度火灾火焰检测方法

权利要求书

1.一种基于密集尺度不变特征转换字典学习的高精度火灾火焰检测方法，其特征在于：包括以下步骤：

S1：对视频流进行运动检测获取运动目标：基于改进型视觉背景提取算法、根据邻域像素间的空间分布相关性、运用尺度不变局部三值模式提取特征对视频流进行运动检测获得运动目标；

S2：进行颜色检测获取具有火焰特征的目标：对S1获得的运动目标进行HSI颜色特征判断，获得具有火焰特征颜色的像素将其定义为可能火焰目标像素；

S3：对符合运动检测和颜色检测的像素进行空域上形态特征判别：提取S2获得的可能火焰目标像素区域的Dense-SIFT特征，利用离线训练好的火焰字典进行编码，使用支持向量机分类器判定；

S4：对上述获取的目标结合时域上闪烁特征综合判别：在S3进行空域形态特征检测的基础上，结合时域动态闪烁特征，计算火焰像素点的个数与设定的阈值比较，综合判定实现对火焰的检测；

S1中具体采用如下方式：

S11：取视频序列中第一帧图像，定义每个像素的红、绿、蓝分量分别为R、G、B，利用平均值法计算每个像素点(x，y)的灰度值I：

S12：对每个像素点(x,y)的上下左右4个邻域像素，自右邻域像素，按逆时针方向计算其SILTP特征，用SM(x,y)表示：

式(2)、(3)中，I_k是4邻域像素的灰度值，Θ表示是将所有邻域的二进制值s_τ(I,I_k)连接成字符串，τ为变化的阈值范围；

S13：在以像素点(x,y)为中心，R为半径的邻域中，随机抽取N个样本，构建该像素背景模型样本M(x,y)：

M(x,y)＝{SM₁(x,y)，SM₂(x,y)，…，SM_N(x,y)} (4)

S14：从第二帧开始，同样执行S12和S13过程，为每个像素点(x,y)建立一个样本S(x,y)；

S15：定义C_n(x,y)为S(x,y)与背景模型样本M(x,y)中第n个样本SM_n(x,y)的单个匹配度，n＝1，2，…，N，其结果为所对应为异或结果为1的位的个数：

C_n(x,y)＝S(x,y)⊕SM_n(x,y) (5)

S16：计算待测点(x,y)是否为前景点：

式(7)中，B_n(x，y)表示匹配度小于半径R的一个样本，Sum(x，y)表示匹配度小于R的所有样本的总和，T_h为判别阈值，f(x，y)为像素(x，y)的分类结果；

式(8)中f(x,y)＝1表示(x，y)所对应的像素为背景像素，f(x,y)＝0表示(x，y)所对应的像素为前景像素，

S17：运动目标作为前景在一段持续的时间内会表现出相同的分类结果，对一段时间内m帧的f(x，y)进行判别和分析，设F(x，y)为像素点(x，y)在m帧中f(x，y)分类结果的集合：

其中f(x,y,k)为第k个像素点；

S18：运动像素判决的条件为：

F(x,y)≤G_h (10)

当F(x，y)的值小于整体判别阈值G_h时，则确定为运动目标，否则为背景目标，其中m的取值范围与视频帧速率有关，接近于帧速率的值；

S19：实时更新背景模型：

(a)若点(x，y)被认为是背景点，给定更新频率ω，将S(x)按1/ω的概率依次替换被随机抽取的样本，再次按照1/ω的概率，随机选取(x,y)的R半径邻域的某一个像素点，将该邻域背景模型中随机选取的SM_n(x，y)用S(x，y)替换，则更新了选定邻域的背景模型；

(b)对像素点进行统计，如果某个像素点连续M次被检测为前景，则将其更新为背景点，即按照1/ω的概率用随机选取的样本SM_n(x，y)将其替代；

S2中具体采用如下方式：

S21：将上述获得的运动目标的RGB空间转换为HSI：

I的含义同前式(1)；

S22：根据多次实验的结果，选定火焰HSI模型中H、S、I各自的检测范围值：

S23：将S18中获得的运动像素根据S22中火焰HSI模型中H、S、I的值分别进行匹配比较，如在此范围内，则为运动的疑似火焰；

S24：对S23中判别为运动的疑似火焰的区域，进一步判断与该区域相邻接的每个像素的灰度值与上述运动的疑似火焰区域的平均灰度值的差是否小于阈值T，如果是则将该邻接像素合并至上述的运动的疑似火焰区域内，否则就不合并；上述运动的疑似火焰区域的集合构成可能火焰目标；

S3中具体采用如下方式：

S31：提取S24中可能火焰目标的Dense-SIFT特征，则图像集U表示成Dense-SIFT特征d_i的集合，即U＝{d_i,d_i∈U}，具体步骤为：

(1)在图像上设定密集采样网格，网格上的交叉点作为特征提取点，以8×8像素大小的窗口进行固定采样；

(2)以4像素的步长自左向右、从上到下在图像上提取SIFT特征描述子；

S32：根据已离线训练好的火焰字典对S31中的Dense-SIFT特征进行特征编码；

采用基于投票策略编码中的硬投票的编码方式：

其中，b_j为不同的K-均值聚类中心，J是K-均值聚类的类中心数目，v(i)为编码后Dense-SIFT的J维特征向量；

S33：将S32中获得的特征向量取平均池化，以生成图像级别的全局表达，

式中，H为每一幅视频帧图像中的Dense-SIFT特征数目；v_k即为第k个被特征编码的Dense-SIFT，v_ki表示v_k的第i维，Z_i为得到的特征向量，J等于K-均值的类中心数；

S34：将S33中得到的特征向量输入已经离线训练好的SVM分类器，从而判断该视频帧图像是否包含火焰；

S4中具体采用如下方式：

S41:在视频第一帧时，建立与视频图像像素大小相同的计数矩阵SUM，用于记录视频序列相邻两帧间像素的亮度变化，初始值均为0；

S42:记I(x，y，t)为像素(x，y)在时刻t对应于HSI空间的亮度值，t与t-1时刻连续两帧图像对应像素的亮度差ΔI(x，y，t)：

ΔI(x,y,t)＝|I(x,y,t)-I(x,y,t-1)| (16)

S43:SUM(x，y，t)和SUM(x，y，t-1)分别表示像素(x，y)在时刻t和t-1时计数器的值，若相邻两帧图像对应位置像素的亮度值I(x，y，t)有变化，则t时刻像素(x，y)对应的计数器值SUM(x，y，t)累加1，否则加0；

式(17)中，T₁是为消除系统噪声影响，而对于亮度变化ΔI(x,y,t)的范围设定的一个阈值，ΔI(x，y，t)超过阈值T₁时，才认为相邻帧对应位置像素的亮度值I(x，y，t)有变化；

S44:统计时刻t各候选火焰区域的像素是否满足像素闪烁条件：

(SUM(x,y,t)-SUM(x,y,t-p))>SUM₀ (18)

式(18)中，p是设定的时间步长，大小与视频帧采集速率相近，SUM₀表示判决闪烁的阈值，其值与时间步长有关；

S45：将候选火焰区域中满足像素闪烁条件的像素总数记为N_isO，该区域前景点总数记为N_iRECT，则火焰闪烁条件为：

N_iso/N_iRECT>ρ (19)

其中，ρ为阈值，由实验测定，其取值范围0-1，当N_isO与N_iRECT的比值大于阈值ρ时，则判断该区域为检测的火焰区；

S46：若判断当前时刻视频图像存在火焰目标，则与静态检测结果相与，如判断存在火焰目标，则报警后读取新的帧图像，否则直接读取新一帧图像，再进入新一轮检测；

离线训练火焰字典和SVM分类器具体采用如下方式：

离线训练火焰字典和SVM分类器的过程依次为输入训练图像、提取Dense-SIFT特征、建立火焰字典、利用字典进行特征编码、池化获得图像全局表达及最后训练SVM分类器，具体实现步骤为：

M1：提取所有训练集图像中每张图像的Dense-SIFT特征，则训练图像集L表示成Dense-SIFT特征d_i的集合，即L＝{d_i,d_i∈I}，具体步骤为：

M11：在图像上设定密集采样网格，网格上的交叉点作为特征提取点，以8×8像素大小的窗口进行固定采样；

M12以4像素的步长自左向右、从上到下在图像上提取SIFT特征描述子；

M2：通过K-均值聚类方法，用提取的Dense-SIFTT特征聚类分析，从而训练出火焰字典，具体步骤为：

M21：从所有Dense-SIFT特征中，随机选取10⁴个Dense-SIFT组成Dense-SIFT特征集；

M22：从Dense-SIFT特征集中任意选择400个Dense-SIFT特征作为初始聚类质心b；

M23：对除聚类质心外的每个Dense-SIFT特征d_i，计算d_i到所有聚类质心b_j的欧式距离D_ij＝||d_i-b_j||²，并把该Dense-SIFT特征d_i归到欧式距离D_ij最短的质心所属的聚类C_j中，由此形成400个新聚类集C；

其中J为类别中心数目，H为训练Dense-SIFT特征个数，若第i个样本属于第j个类中心，则r_ij为1，否则为0，其中J为400，H为10⁴；

M24：更新聚类的质心，计算新聚类中所有Dense-SIFT的均值，并作为新聚类的质心：

其中|C_j|是聚类C_j中Dense-SIFT特征的个数；

M25：重复过程M23和M24直至收敛，收敛是指新聚类的质心趋于稳定；

M26：K-均值收敛时，得到的每个聚类最终的质心b_j，由此便得到由400个聚类质心组成整个火焰字典：

V＝{b_j,j＝1:400} (22)

M3：通过计算Dense-SIFT特征集与M2中离线训练好的火焰字典的相关性，对上述的Dense-SIFT特征进行特征编码成特征向量表示，采用基于投票策略编码中的硬投票编码方式：

其中，v(i)为编码后Dense-SIFT的J维特征向量；

M4：将M3中获得的特征向量取平均池化，以生成图像级别的全局表达；

式中，H为每一幅视频帧图像中的Dense-SIFT特征数目；v_k即为第k个被特征编码的Dense-SIFT，v_ki表示v_k的第i维，Z_i为得到的特征向量，J等于K-均值的类中心数；

M5：训练支持向量机SVM分类器

采用径向基RBF核函数作为SVM的核函数，为火焰图片训练集训练SVM模型；RBF核函数公式为：

K(z_i,z_j)＝exp(-g||z_i-z_j||²) (25)

其中，z_i、z_j表示M4中得到的图像表达；g为RBF的核参数；训练SVM模型时还需输入惩罚因子C。