[发明专利]一种基于运动历史图与R变换的人体行为识别方法

摘要

本发明公开一种基于运动历史图与R变换的人体行为识别方法。该方法使用深度视频作为识别依据，首先通过前景分割技术计算出人体运动的最小包围矩，之后在最小包围矩所限定的深度视频区域提取运动历史图，随后在提取的运动历史图上施加运动强度约束，得到运动能量图，最后在得到的运动能量图上计算R变换，从而得到可以用于行为识别的特征向量。训练和识别过程采用了支持向量机的方法。本发明采用人体行为运动的最小包围矩预处理，加速行为特征提取；采用运动历史图序列的方法，减小了深度图中噪声的影响；在能量图上进行R变换提取特征，使得计算速度快。

主权项

一种基于运动历史图与R变换的人体行为识别方法，其特征在于该方法包括离线训练阶段和在线识别阶段，具体步骤如下：步骤(1).离线训练阶段：步骤1‑1.将待训练的深度视频S切割为时间长度相同的多个深度视频片段，然后按照各个深度视频片段的不同行为类别打上不同的行为标记，由此获得了人体行为识别的训练集T；所述的训练集T为不同的行为标记的各深度视频片段的集合；步骤1‑2.运用“前景分割技术”获得各个深度视频片段中人体行为运动的最小包围矩，并将深度视频片段中最小包围矩限定的视频内容缩放到统一大小；所述的“前景分割技术”操作如下：a)对于训练集T给定的一个深度视频片段V，它由若干帧深度图{P1,P2,...,Pi}构成，其中i表示第i帧深度图；对于其中任意一张深度图Pi,将Pi中像素点根据像素点位置的深度值进行k‑means二值聚类，得到前景像素集合与背景像素集合；所述的前景像素比背景像素的平均深度值小；b)在深度图Pi上找出一个矩形框Ri，使得步骤a)得到的所有前景像素均包括在这个矩形框Ri内，Ri由和构成，其中和分别表示Ri的左边界、右边界、上边界和下边界的像素坐标；然后将矩形框Ri按照横向分为等宽的两部分，若矩形框Ri的左半部分像素点个数比右半部分多，且若向左移动K个像素后新的矩形框内的像素点个数大于最原始矩形框Ri内个数的η﹪，其中K为常数，且为偶数，50<η<100,则将向左调整K个像素，若移动边界之后新矩形框内的像素点个数小于最原始矩形框Ri内像素点个数的η﹪，则右边界调整完成；若矩形框Ri的右半部分的像素点比左半部分多，且将向右移动K个像素后矩形框内的像素点个数大于最原始矩形框Ri内个数的η﹪,则将向右调整K个像素，若移动边界之后新矩形框内的像素点个数小于最原始矩形框Ri中像素点个数的η﹪，则左边界调整完成；若矩形框Ri的左右两半部分像素点中像素个数相差不超过ε，ε为阈值参数,则判断将左右边界同时向中心靠拢K/2个像素时新矩形框内剩余的像素点个数是否大于原始矩形框Ri内全部像素的η﹪，如果成立，则将矩形框Ri按照左右边界各收拢K/2个像素进行调整，之后重复步骤b),直至新矩形框内剩余的像素点个数小于原始矩形框Ri内全部像素的η﹪；采用上述同样的方法对矩形框Ri的上下边界进行调整；c)深度视频片段V是由横坐标x，纵坐标y和时间坐标t三个维度描述的三维空间体，此三维空间体经过步骤b)调整后，深度视频片段V中任意一帧Pi的前景像素被分割出来,该前景像素范围由Ri进行描述；设深度视频S中人体行为的最小包围矩R的四个上边界Rup、下边界Rdown、左边界Rleft和右边界Rright分别用按照公式(1)计算：步骤1‑3.深度视频片段V中从时刻j开始任意时间窗口长度为τ的一段子序列Sj，可以求出一张运动历史图其计算方式如下：其中，I(x,y,t)表示深度视频在t时刻在像素点(x,y)位置的捕获的深度值；t的范围为[j,j+τ‑1]；δIth为常数阈值，j、τ为自然数；取三个任意时间窗口长度τs、τm、τl，求出相对应的运动历史图其中s,m,l均为自然数，m＝2s,l＝4s，且s正比于深度视频片段V的时间长度；经过步骤1‑3的处理，深度视频片段转换为运动历史图序列，记得到的三个时间窗口长度运动历史图在时间维度的延伸构成的深度视频片段V的运动历史图序列表示为MHIsO，其中o＝s,m,l；步骤1‑4.对于步骤1‑3中获得的任意一个运动历史图序列MHIsO,设HO(x,y,t)表示运动历史图序列MHIsO中第t帧像素点(x,y)位置的强度；依据运动历史图序列MHIsO计算如下能量图D°,其中D°中各个位置(x,y)的值D°(x,y)计算方法见公式(3)：其中，μ(θ)为单位阶跃函数，当θ≥0时μ(θ)为1，当θ＜0时μ(θ)为0；ε为阈值常数；N为深度视频片段V的时间长度；步骤1‑5.对获得的能量图D°，求其R变换，计算R变换，得到深度视频片段V的行为特征具体如下：首先计算能量图D°的Radon变换，计算方法见公式(4)：然后，对θ方向全方向进行积分，得到R变换，计算方式如公式(5)：对进行归一化处理，即x∈[0°,180°)；将拼接形成深度视频片段V的行为特征步骤1‑6.根据深度视频片段V的行为特征与步骤1‑1得到的深度视频片段的行为标记，采用支持向量机训练出识别模型M；步骤(2).在线识别阶段：步骤2‑1.与离线训练阶段操作步骤1‑1～1‑6相同的方法对待识别视频提取待识别视频的行为特征；所述的在线识别阶段识别粒度与离线训练阶段训练时保持一致；步骤2‑2.基于待识别视频的行为特征，根据训练出来的模型M利用支持向量机对待识别视频进行行为识别。