[发明专利]视频中运动物体的检测方法

摘要

本发明涉及视频中运动物体的检测方法，该方法首先建立初始图像，初始图像有多个像素点，每个像素点对应一个单词本，每个单词本中含有多个单词；每个单词包括五个像素特征；然后获取视频，用视频第一帧图像中像素点的像素特征替换初始图像一个单词本中随机选取的一个单词的像素特征，该单词本中其他单词的像素特征赋特定值；然后从视频第2帧图像开始，将每帧图像中的对应的像素点对应地与初始图像中的像素点进行比较，求出相似度，当相似度满足要求则将该幅图像拷贝并将对应的像素点涂白，否则涂黑，每帧图像处理后都将初始图像更新，当视频所有帧图像都处理后，最后输出黑白色图像，其中白色部分即为视频中的运动物体。该方法运算速度快，检测结果的鲁棒性更高。

主权项

视频中运动物体的检测方法，其特征在于具体包括如下步骤：步骤a：a1：建立初始图像，设初始图像共有Z个像素点，像素点E_j，1≤j≤Z对应一个单词本C_j，单词本C_j中有L个单词，C_j＝{c_j1,c_j2,...,c_jλ,...,c_jL}，1≤λ≤L，单词c_jλ由维数相等的表示像素特征向量的表示方差向量的和表示计数器向量的构成，$c_{\mathrm{j\λ}}=\{{\stackrel{\→}{M}}_{\mathrm{j\λ}},{\stackrel{\→}{S}}_{\mathrm{j\λ}},{\stackrel{\→}{W}}_{\mathrm{j\λ}}\};$所述${\stackrel{\→}{M}}_{\mathrm{j\λ}}=\{v_{\mathrm{gray},\mathrm{j\λ}},v_{\mathrm{red},\mathrm{j\λ}},v_{\mathrm{green},\mathrm{j\λ}},v_{\mathrm{blue},\mathrm{j\λ}},v_{\mathrm{texture},\mathrm{j\λ}}\},$其中v_gray,jλ，v_red,jλ，v_green,jλ，v_blue,jλ和v_texture,jλ为像素特征向量的的向量元，分别表示初始图像中像素点E_j经RGB转灰度图的方法后，像素点E_j对应的单词本单词c_jλ的灰度值，红色分量的特征值，绿色分量的特征值，蓝色分量的特征值和纹理特征值；所述${\stackrel{\→}{S}}_{\mathrm{j\λ}}=\{m_{\mathrm{gray},\mathrm{j\λ}},m_{\mathrm{red},\mathrm{j\λ}},m_{\mathrm{green},\mathrm{j\λ}},m_{\mathrm{blue},\mathrm{j\λ}},m_{\mathrm{texture},\mathrm{j\λ}}\}$其中m_gray,jλ,m_red,jλ,m_green,jλ,m_blue,jλ,m_texture,jλ为方差向量的的向量元，分别表示像素点E_j对应的单词本单词c_jλ的像素特征向量中向量元v_gray,jλ对应的方差值，向量元v_red,jλ对应的方差值，向量元v_green,jλ对应的方差值，向量元v_blue,jλ对应的方差值和向量元v_texture,jλ对应的方差值；所述${\stackrel{\→}{W}}_{\mathrm{j\λ}}=\{w_{\mathrm{gray},\mathrm{j\λ}},w_{\mathrm{red},\mathrm{j\λ}},w_{\mathrm{green},\mathrm{j\λ}},w_{\mathrm{blue},\mathrm{j\λ}},w_{\mathrm{texture},\mathrm{j\λ}}\}$其中w_gray,jλ,w_red,jλ,w_green,jλ,w_blue,jλ,w_texture,jλ为计数器向量的向量元，分别表示像素点E_j对应的单词本单词c_jλ的像素特征向量中向量元v_gray,jλ对应的计数值，向量元v_red,jλ对应的计数值，量元v_green,jλ对应的计数值，向量元v_blue,jλ对应的计数值和向量元v_texture,jλ对应的计数值；a2：对初始图像中所有像素点对应的单词本中的单词的向量元设置初始值：a21：获取视频，所述视频共有Q帧图像，每帧图像中像素点的数量相同都为H，H≤Z，视频的第一帧图像中的像素点B_ξ,1≤ξ≤H,像素点B_ξ由维数相等的表示像素特征向量的表示方差向量的和表示计数器向量的构成，所述${\stackrel{\→}{M}}_{\mathrm{\ξ}}=\{v_{\mathrm{gray},\mathrm{\ξ}},v_{\mathrm{red},\mathrm{\ξ}},v_{\mathrm{green},\mathrm{\ξ}},v_{\mathrm{blue},\mathrm{\ξ}},v_{\mathrm{texture},\mathrm{\ξ}}\},$其中v_gray,ξ,v_red,ξ,v_green,ξ,v_blue,ξ和v_texture,ξ为像素特征向量的的向量元，分别表示第一帧图像中的像素点B_ξ经RGB转灰度图的方法后，像素点B_ξ的灰度值，红色分量的特征值，绿色分量的特征值，蓝色分量的特征值和纹理特征值；所述${\stackrel{\→}{S}}_{\mathrm{\ξ}}=\{m_{\mathrm{gray},\mathrm{\ξ}},m_{\mathrm{red},\mathrm{\ξ}},m_{\mathrm{green},\mathrm{\ξ}},m_{\mathrm{blue},\mathrm{\ξ}},m_{\mathrm{texture},\mathrm{\ξ}}\},$其中m_gray,ξ,m_red,ξ,m_green,ξ,m_blue,ξ和m_texture,ξ为方差向量的的向量元，分别表示第一帧图像中的像素点B_ξ的像素特征向量中向量元v_gray,ξ对应的方差值，向量元v_red,ξ对应的方差值，向量元v_green,ξ对应的方差值，向量元v_blue,ξ对应的方差值和向量元v_texture,ξ对应的方差值；所述${\stackrel{\→}{W}}_{\mathrm{\ξ}}=\{w_{\mathrm{gray},\mathrm{\ξ}},w_{\mathrm{red},\mathrm{\ξ}},w_{\mathrm{green},\mathrm{\ξ}},w_{\mathrm{blue},\mathrm{\ξ}},w_{\mathrm{texture},\mathrm{\ξ}}\},$其中w_gray,ξ,w_red,ξ,w_green,ξ,w_blue,ξ和w_texture,ξ为计数器向量的向量元，分别表示第一帧图像中的像素点B_ξ的像素特征向量中向量元v_gray,ξ对应的计数值，向量元v_red,ξ对应的计数值，向量元v_green,ξ对应的计数值，向量元v_blue,ξ对应的计数值和向量元v_texture,ξ对应的计数值；a22：提取视频第一帧图像中像素点B_ξ的像素特征向量中各向量元的值，1≤ξ≤H：a221：提取像素点B_ξ的灰度值，使用RGB转灰度图的方法，得到第一帧图像中像素点B_ξRGB的三个颜色分量red，green和blue，利用式(1)计算第一帧图像中像素点B_ξ的灰度值:v_gray,ξ＝red×0.299+green×0.587+blue×0.114(1)；其中red，green，blue分别为像素点B_ξ的红色分量的值、绿色分量的值和蓝色分量的值；a222：提取像素点B_ξ的三个颜色分量的特征值：找出步骤a221得到的第一帧图像中像素点B_ξ的三个颜色分量red，green和blue中的最大值，rate＝p/max(red,green,blue)，p为经验值；然后，利用式(2)～(4)分别计算第一帧图像中像素点B_ξ的三个颜色分量的特征值，具体如下：v_red,ξ＝red×rate(2)；v_green,ξ＝green×rate(3)；v_blue,ξ＝blue×rate(4)；其中，v_red,ξ，v_green,ξ，v_blue,ξ分别为第一帧图像中像素点B_ξ的红色分量的特征值，绿色分量的特征值和蓝色分量的特征值；a223：提取像素点B_ξ的纹理特征值：使用LBP算子对第一帧图像中像素点B_ξ进行编码，并采用SILTP对LBP算子的编码添加约束，得到的编码式为：$v_{\mathrm{texture},\mathrm{\ξ}}={\mathrm{result}}_{N.R.K}^{\mathrm{\τ}}(x_{\mathrm{\ξ}},y_{\mathrm{\ξ}})=K\×\underset{k=0}{\overset{N-1}{\mathrm{\Σ}}}{s}_{\mathrm{\τ}}(v_{\mathrm{gray},\mathrm{\ξ}},v_{\mathrm{gray},\mathrm{\ξk}})---\left(5\right);$$s_{\mathrm{\τ}}(v_{\mathrm{gray},\mathrm{\ξ}},v_{\mathrm{gray},\mathrm{\ξk}})=\left\{\begin{array}{c}1,\mathrm{if}{v}_{\mathrm{gray}}>(1+\mathrm{\τ})v_{\mathrm{gray},\mathrm{\ξ}},\\ 1,\mathrm{if}{v}_{\mathrm{gray},\mathrm{\ξk}}\<(1-\mathrm{\τ})v_{\mathrm{gray},\mathrm{\ξ}},\\ 0,\mathrm{otherwise}\end{array}\right.---\left(6\right);$其中x_ξ,y_ξ分别表示第一帧图像中像素点B_ξ的横纵坐标，N为第一帧图像中像素点B_ξ临域的像素点数量，R表示以像素点B_ξ为圆心，在第一帧图像中画圆确定临域时的半径，v_gray,ξk为第一帧图像中像素点B_ξ临域中第k个像素点的灰度值，τ取0.05‑0.1，s_τ(v_gray,j,v_gray,jk)为SILTP中关于v_gray,ξ,v_gray,ξk的基础编码函数，K是编码结果的扩大倍数，取经验值；a23：将第一帧图像中的像素点B_ξ与初始图像中的像素点E_j一一对应，然后从初始图像像素点E_j对应的单词本C_j中随机选取一个单词，并将第一帧图像中的像素点B_ξ的像素特征向量中的向量元对应地替换所述单词的像素特征向量中的向量元，初始图像中像素点E_j对应的单词本C_j中的其他单词的像素特征向量中的向量元设为特定值；所述初始图像中像素点E_j对应的单词本C_j中的每个单词的方差向量中的各个向量元的初始值取经验值，初始图像中像素点E_j对应的单词本C_j中的每个单词的计数器向量中的各个向量元的初始值设为1；步骤c：c1：令i＝2：c2：所述视频中第i帧图像中的像素点为B_iξ，所述像素点B_iξ由维数相等的表示像素特征向量的表示方差向量的和表示计数器向量的构成，所述${\stackrel{\→}{M}}_{\mathrm{i\ξ}}=\{v_{\mathrm{gray},\mathrm{i\ξ}},v_{\mathrm{red},\mathrm{i\ξ}},v_{\mathrm{green},\mathrm{i\ξ}},v_{\mathrm{blue},\mathrm{i\ξ}},v_{\mathrm{texture},\mathrm{i\ξ}}\},$其中v_gray,iξ,v_red,iξ,v_green,iξ,v_blue,iξ和v_texture,iξ为像素特征向量的的向量元，分别表示第i帧图像中的像素点B_iξ经RGB转灰度图的方法后，像素点B_iξ的灰度值，红色分量的特征值，绿色分量的特征值，蓝色分量的特征值和纹理特征值；所述${\stackrel{\→}{S}}_{\mathrm{i\ξ}}=\{m_{\mathrm{gray},\mathrm{i\ξ}},m_{\mathrm{red},\mathrm{i\ξ}},m_{\mathrm{green},\mathrm{i\ξ}},m_{\mathrm{blue},\mathrm{i\ξ}},m_{\mathrm{texture},\mathrm{i\ξ}}\},$其中m_gray,iξ,m_red,iξ,m_green,iξ,m_blue,iξ和m_texture,iξ为方差向量的的向量元，分别表示第i帧图像中的像素点B_iξ的像素特征向量中向量元v_gray,iξ对应的方差值，向量元v_red,iξ对应的方差值，向量元v_green,iξ对应的方差值，向量元v_blue,iξ对应的方差值和向量元v_texture,iξ对应的方差值；所述${\stackrel{\→}{W}}_{\mathrm{i\ξ}}=\{w_{\mathrm{gray},\mathrm{i\ξ\ξ}},w_{\mathrm{red},\mathrm{i\ξ}},w_{\mathrm{green},\mathrm{i\ξ}},w_{\mathrm{blue},\mathrm{i\ξ}},w_{\mathrm{texture},\mathrm{i\ξ}}\},$其中w_gray,iξ,w_red,iξ,w_green,iξ,w_blue,iξ,和w_texture,iξ为计数器向量的向量元，分别表示第i帧图像中的像素点B_iξ的像素特征向量中向量元v_gray,iξ对应的计数值，向量元v_red,iξ对应的计数值，向量元v_green,iξ对应的计数值，向量元v_blue,iξ对应的计数值和向量元v_texture,iξ对应的计数值；c3：令ξ＝1，j＝1；c4：所述像素点B_iξ在第i帧图像中的位置与像素点E_j在初始图像中的位置相对应，采取与步骤a22相同的方法提取第i帧图像中像素点B_iξ的像素特征向量中各向量元的值；c5：将第i帧图像中像素点B_iξ的像素特征向量中的灰度值v_gray,iξ与初始图像中E_j对应单词本C_j中的单词c_jλ的灰度值v_gray,jλ进行一一比对，1≤λ≤L；c51：设λ＝1；c52：如果式(7)成立，则第i帧图像中像素点B_iξ的像素特征向量中的灰度值v_gray,iξ与初始图像中像素点E_j对应单词本C_j中的单词c_jλ的灰度值v_gray,jλ匹配：|v_gray,iξ‑v_gray,jλ|＜m_gray,jλ   (7)；a)前景检测：i.设${\mathrm{stemp}}_{j{\mathrm{\λ}}_{v_{\mathrm{gray},\mathrm{i\ξ}}}}=0,{\mathrm{mtemp}}_{{\mathrm{j\λ}}_{v_{\mathrm{gray},\mathrm{i\ξ}}}}=0;$ii.${\mathrm{stemp}}_{{\mathrm{j\λ}}_{v_{\mathrm{gray},\mathrm{i\ξ}}}}={\mathrm{stemp}}_{{\mathrm{j\λ}}_{v_{\mathrm{gray},\mathrm{i\ξ}}}}+w_{\mathrm{gray},\mathrm{j\λ}},$${\mathrm{mtemp}}_{{\mathrm{j\λ}}_{v_{\mathrm{gray},\mathrm{i\ξ}}}}={\mathrm{mtemp}}_{{\mathrm{j\λ}}_{v_{\mathrm{gray},\mathrm{i\ξ}}}}+w_{\mathrm{gray},\mathrm{j\λ}};$b)初始图像中像素点E_j对应单词本C_j中的单词c_jλ的灰度值v_gray,jλ更新：v_gray,jλ＝a_b×v_gray,jλ+(1‑a_b)×v_gray,iξ   (8)；m_gray,jλ＝a_m×m_gray,jλ+(1‑a_m)×|v_gray,iξ‑v_gray,jλ+K_m|   (9)；w_gray,jλ＝w_gray,jλ+1 (10)；其中，a_b取值为0.95‑0.99，a_m取值为0.95‑0.99，K_m为经验值，完成对初始图像中像素点E_j对应单词本C_j中的单词c_jλ的灰度值v_gray,jλ更新；c53：如果式(7)不成立，则第i帧图像中像素点B_iξ的像素特征向量中的灰度值与初始图像中像素点E_j对应单词本C_j中的单词c_jλ的灰度值v_gray,jλ不匹配，令${\mathrm{stemp}}_{{\mathrm{j\λ}}_{v_{\mathrm{gray},\mathrm{i\ξ}}}}={\mathrm{stemp}}_{{\mathrm{j\λ}}_{v_{\mathrm{gray},\mathrm{i\ξ}}}}+w_{\mathrm{gray},\mathrm{j\λ}};$c6：根据步骤c5中所述的方法对第i帧图像中像素点B_iξ的像素特征向量中的红色分量的特征值v_red,iξ与初始图像中E_j对应单词本C_j中的单词c_jλ的红色分量的特征值v_red,jλ进行一一比对；c7：根据步骤c5中所述的方法对第i帧图像中像素点B_iξ的像素特征向量中的绿色分量的特征值v_green,iξ与初始图像中E_j对应单词本C_j中的单词c_jλ的绿色分量的特征值v_green,jλ进行一一比对；c8：根据步骤c5中所述的方法对第i帧图像中像素点B_iξ的像素特征向量中的蓝色分量的特征值v_blue,iξ与初始图像中E_j对应单词本C_j中的单词c_jλ的蓝色分量的特征值v_blue,jλ进行一一比对；c9：根据步骤c5中所述的方法对第i帧图像中像素点B_iξ的像素特征向量中的纹理特征特征值v_texture,iξ与初始图像中E_j对应单词本C_j中的单词c_jλ的纹理特征特征值v_texture,jλ进行一一比对；c10：令λ＝λ+1，当λ＝L+1时执行步骤c11，否则执行步骤c52；c11：所述λ遍历其取值范围，选取初始图像中像素点E_j对应单词本C_j中匹配次数最少的单词$\min \{{\mathrm{mtemp}}_{{\mathrm{j\λ}}_{v_{\mathrm{gray},\mathrm{i\ξ}}}},1\≤\mathrm{\λL}\},$将该单词记为目标单词：c111：如果第i帧图像中像素点B_iξ的像素特征向量中的灰度值v_gray,iξ与初始图像中E_j对应单词本C_j中的所有单词的灰度值都不匹配，那么用第i帧图像中像素点B_iξ的像素特征向量中的灰度值v_gray,iξ替换目标单词的灰度值，并将目标单词的匹配次数重置为1，目标单词对应的方差值赋予初始值；c112：如果第i帧图像中像素点B_iξ的像素特征向量中的红色分量的特征值w_red,iξ与初始图像中E_j对应单词本C_j中的所有单词的红色分量的特征值都不匹配，用第i帧图像中像素点B_iξ的像素特征向量中红色分量的特征值v_red,iξ替换目标单词的红色分量的特征值，并将目标单词的匹配次数重置为1，目标单词对应的方差值赋予初始值；c113：如果第i帧图像中像素点B_iξ的像素特征向量中的绿色分量的特征值v_green,iξ与初始图像中E_j对应单词本C_j中的所有单词的绿色分量的特征值都不匹配，用第i帧图像中像素点B_iξ的像素特征向量中绿色分量的特征值v_green,iξ替换目标单词绿色分量的特征值，并将被目标单词的匹配次数重置为1，目标单词对应的方差值赋予初始值；c114：如果第i帧图像中像素点B_iξ的像素特征向量中的蓝色分量的特征值v_blue,iξ与初始图像中E_j对应单词本C_j中的所有单词的蓝色分量的特征值都不匹配，用第i帧图像中像素点B_iξ的像素特征向量中蓝色分量的特征值v_blue,iξ替换目标单词蓝色分量的特征值，并将目标单词的匹配次数重置为1，目标单词对应的方差值赋予初始值；c115：如果第i帧图像中像素点B_iξ的像素特征向量中的纹理特征值v_texture,iξ与初始图像中E_j对应单词本C_j中的所有单词的纹理特征值都不匹配，用第i帧图像中像素点B_iξ的像素特征向量中纹理特征值v_texture,iξ替换目标单词的纹理特征值，并将目标单词的匹配次数重置为1，目标单词对应的方差值赋予初始值；步骤d：根据式(11)计算第i帧图像中像素点B_iξ的像素特征向量中向量元与初始图像中像素点E_j对应单词本C_j中单词的向量元对应进行比较的总次数svalue，根据式(12)计算第i帧图像中像素点的像素特征向量中向量元与初始图像中像素点E_j对应单词本C_j中单词的向量元对应匹配的总匹配次数mvalue：$\begin{array}{c}\mathrm{svalue}=\underset{\mathrm{\λ}=1}{\overset{\mathrm{\λ}=L}{\mathrm{\Σ}}}{\mathrm{stemp}}_{{\mathrm{j\λ}}_{v_{\mathrm{gray},\mathrm{i\ξ}}}}+\underset{\mathrm{\λ}=1}{\overset{\mathrm{\λ}=L}{\mathrm{\Σ}}}{\mathrm{stemp}}_{{\mathrm{j\λ}}_{v_{\mathrm{red},\mathrm{j\ξ}}}}+\underset{\mathrm{\λ}=1}{\overset{\mathrm{\λ}=L}{\mathrm{\Σ}}}{\mathrm{stemp}}_{{\mathrm{j\λ}}_{v_{\mathrm{green},\mathrm{i\ξ}}}}\\ +\underset{\mathrm{\λ}=1}{\overset{\mathrm{\λ}=L}{\mathrm{\Σ}}}{\mathrm{stemp}}_{{\mathrm{j\λ}}_{v_{\mathrm{blue},\mathrm{i\ξ}}}}+\underset{\mathrm{\λ}=1}{\overset{\mathrm{\λ}=L}{\mathrm{\Σ}}}{\mathrm{stemp}}_{{\mathrm{j\λ}}_{v_{\mathrm{texture},\mathrm{i\ξ}}}}\end{array}---\left(11\right);$$\begin{array}{c}\mathrm{mvalue}=\underset{\mathrm{\λ}=1}{\overset{\mathrm{\λ}=L}{\mathrm{\Σ}}}{\mathrm{mtemp}}_{{\mathrm{j\λ}}_{v_{\mathrm{gray},\mathrm{i\ξ}}}}+\underset{\mathrm{\λ}=1}{\overset{\mathrm{\λ}=L}{\mathrm{\Σ}}}{\mathrm{mtemp}}_{{\mathrm{j\λ}}_{v_{\mathrm{red},\mathrm{j\ξ}}}}+\underset{\mathrm{\λ}=1}{\overset{\mathrm{\λ}=L}{\mathrm{\Σ}}}{\mathrm{mtemp}}_{{\mathrm{j\λ}}_{v_{\mathrm{green},\mathrm{i\ξ}}}}\\ +\underset{\mathrm{\λ}=1}{\overset{\mathrm{\λ}=L}{\mathrm{\Σ}}}{\mathrm{mtemp}}_{{\mathrm{j\λ}}_{v_{\mathrm{blue},\mathrm{i\ξ}}}}+\underset{\mathrm{\λ}=1}{\overset{\mathrm{\λ}=L}{\mathrm{\Σ}}}{\mathrm{mtemp}}_{{\mathrm{j\λ}}_{v_{\mathrm{texture},\mathrm{i\ξ}}}}\end{array}---\left(12\right);$步骤e：拷贝第i帧图像作为副本，第i帧图像中的像素点B_iξ在副本中对应的像素点为B′_iξ；e1：根据式(13)计算第i帧图像中像素点B_iξ与初始图像中像素点E_j的相似度η，$\mathrm{\η}=\frac{\mathrm{mvalue}}{\mathrm{svalue}}---\left(13\right);$e11：如果相似度η大于阈值T_p，则所述副本中的像素点B′_iξ为背景，将像素点B′_iξ涂黑；否则所述副本中的像素点B'_iξ为前景，将像素点B'_iξ涂白；e12：经过步骤e11处理后得到图像为待输出图像，对其进行缓存；e2：令j＝j+1，ξ＝ξ+1，当ξ＝H+1时执行步骤e3，否则执行步骤c4；e3：令i＝i+1，当i＝Q+1时，执行步骤f，否则执行步骤c2；步骤f：输出步骤e12中缓存的待输出图像，其中所述待输出图像中的白色部分为视频中的运动物体。