[发明专利]基于DLLE模型的数据降维与特征理解方法

摘要

基于DLLE模型的数据降维与特征理解方法，属于计算机视觉领域。首先，通过视觉传感器获取图像序列，进而对输入的动作图像序列进行分析，通过背景减除法提取出前景人体轮廓区域并二值化，研究动作的周期特性，对每个动作序列进行关键帧提取，提取出一个完整的动作周期序列。通过DLLE算法进行流行降维，得到低维特征向量，将其保存到动作数据库中。通过比较测试序列与训练样本库中动作序列的均值Hausdorff距离经最近邻分类器进行识别。本文提出了基于差分函数与类别信息的邻域保持嵌入算法在人体动作识别中的运用，DLLE模型在降维时既能保持流形的局部几何结构，又能充分利用原始高维数据的类别信息，实现了从无监督到有监督的扩展。

主权项

基于DLLE模型的数据降维与特征理解方法，其特征在于：首先，通过视觉传感器获取图像序列，进而对输入的动作图像序列进行分析，通过背景减除法提取出前景人体轮廓区域并二值化，研究动作的周期特性，对每个动作序列进行关键帧提取，提取出一个完整的动作周期序列；通过DLLE算法进行流行降维，得到低维特征向量，将其保存到动作数据库中；通过比较测试序列与训练样本库中动作序列的均值Hausdorff距离经最近邻分类器进行识别；具体包含以下步骤：步骤1，获取图像；使用Kinect采集人体动作，每2～4秒为一个动作序列；步骤2，图像预处理与人体动作检测；动作特征识别问题的首要环节是对视频图像进行预处理，并从视频图像序列中检测出目标动作质量较高的图像；高质量的人体动作目标提取结果对后续的人体动作特征提取和分类识别等研究起到了基础性的作用；步骤2.1，获取视频序列：背景建模：设定在由1,2,……,n帧图片组成的视频序列，则采集这n帧图像中与(x,y)相同位置处的点的灰度值即可得到一个数组序列：{p_i(x,y),i＝1,2,...,n}，其中i表示图像帧数；所以该点多对应的背景图像的像素就能够用这n帧图像像素值序列的中间值表示出来，即：B(x,y)＝Median(p(x,y))   (1)其中，B(x,y)为背景图像在点(x,y)表示了像素的位置；步骤2.2，人体动作提取；背景减除法在静态背景下提取出的运动目标精确度较高；设当前图像帧为f_c(x,y)，背景图像参数帧为b(x,y)，将当前图像帧与背景图像参数帧进行差分运算就可以得到前景图像d_c(x,y)如下式：d_c(x,y)＝|f_c(x,y)‑b(x,y)|   (2)由于背景减除后得到的背景图像仍为灰度图像，通常情况下直接使用灰度图像进行特征处理效果不好，需要进行二值分割，即图像二值化处理；首先选择分割阀T，前景图像表示为d_c(x,y)，二值化化处理得到的差分图像用R_c(x,y)来表示，则计算图像R_c(x,y)的方法为：步骤2.3，对二值化图像进行距离变换；常用的几种距离：1)欧式距离，2)城市街区距离，3)棋盘距离，本方法采用欧式距离；假设A(i,j)和B(m,n)为二值图像I中任意两个像素点，(i,j)和(m,n)分别是A和B两个像素点在二值图像I中的坐标，欧式距离被看做两点在高维空间中的真实距离，即：距离变换针对的是二值图像，其中心问题是计算平面上的点到其中一个指定的子集中所有点的最小距离；应用在二值图像中，定义为所有像素点到前景目标像素点的距离；距离变换之后的灰度图像能够保持像素点间的空间信息，其直观的表现为，图像中前景目标的边缘、骨架得到加强；具体定义如下所示：I为一幅二值图像，其中大小为m×n对I中任一点I(x,y)∈{0,1}其中x代表该像素行坐标，y代表列坐标，I(x,y)表示像素点的像素值；根据像素值将图像划分为两个集合(ob,Bg)，其中ob＝{I(x,y)|I(x,y)＝1}表示目标像素点集，ob＝{I(x,y)|I(x,y)＝0}表示为背景像素点集；对二值图像I的距离变换理解为I中所有像素I(x,y)到目标像素集ob像素的最短距离：dt(x,y)＝min{d((x,y),(x₀,y₀))}I(x₀,y₀)＝1   (5)步骤3，人体动作特征提取；人体动作为的行走、跑步、跳跃，在一段连续的时间内会呈现重复性，为了减少识别过程的数据量，需要确定一个动作的开始与终止的位置，从而提取出一个周期的完整动作，使特征提取复杂度降低和提高特征识别效果，保证分类识别始终处于统一模式下，同时可以有效排除冗余图像的干扰，提高识别率；通过研究人体运动轮廓采用运动人体轮廓的时空变化曲线分析行为的周期性，本方法对提取的运动人体轮廓，分别分析其高度、宽度、面积以及宽高比，统计其随时间变化所呈现出的周期特性；取出的跑步、行走、侧行动作的关键帧，提取出的每个动作的关键帧序列包括一个完整周期动作；步骤4，DLLE模型的低维特征进行降维；步骤4.1，寻找与样本点同类的、距离最近的M个近邻点；本步骤中采用Dijkstra距离即流形空间中的一种测地线距离，它能够保持样本点之间的曲面特性，用它作为约束以增加类别信息，其具体公式如下：Y'＝Y+βmax(Y)Δ   (6)其中Y'为计算后的距离，Y为Dijkstra距离，max(Y)为同类点之间所允许出现的最大距离，β∈[0,1]为经验参数，它表示各个点间的距离权重的大小；Δ取0或1，当属于同类时取1，不属于同类时取0；步骤4.2，引入误差能量函数ε(A)；A_i‑A_j表示A_i的M个近邻点的差分函数，表示A_i与A_i‑A_j之间的权重系数，且满足如下约束条件：步骤4.3，将随机选取的样本点通过权值矩阵映射到低维空间中；映射条件满足如下所示能量函数：其中ε(B)为损失函数值，B_i为A_i的输出量，B_i‑B_j表示B_i的M个近邻点的差分函数，约束条件为：其中I为n×n维单位矩阵；存储在N×N的稀疏矩阵A中；当A_j是A_i的近邻点时，否则，则损失函数可重写为：其中M是一个N×N的对称矩阵,其表达式为:M＝(I‑D)^T(I‑D)   (10)步骤5，MVHD(The Hausdorff Of Moving Variance)算法人体动作识别；步骤5.1，计算每个行为序列的15帧图片Hu矩B_i与模板A的Hu矩之间的距离：其中B_i的每一列表示一帧图像的Hu矩，共15组；A的表达式：步骤5.2，计算矩阵B_i与模板A的Hausdorff距离；s(B(i),A)＝min||B(i)‑A(j)||   (13)得到距离向量为dⁱ＝(dⁱ1,....dⁱ15),i＝1,...,48；这个距离向量表示第i个行为序列的15帧图片与模板A的距离；步骤5.3，在Hausdorff距离(HD)的基础上进行去方差再取均值；将dⁱ的每个分量都减去均值并求取方差设定阀值，当方差大于该阀值时，则舍去该方差所对应的然后将剩余的分量求均值作为判别依据，即：其中n＝15,i＝1,2,...,48，m为方差大于阀值分量的个数。