[发明专利]一种基于低维时空特征提取与主题建模的肢体冲突行为检测方法

权利要求书

1.一种基于低维时空特征提取与主题建模的肢体冲突行为检测方法，其特征在于，具体检测方法按照如下步骤进行：

S1、词本的定义

先从原始的监控视频数据中提取出符合人类认知的语义理解，通过算法设计自动分析理解视频数据，分析过程分为前景目标的提取、目标特征表示和行为分析归类，该方法基于LDMA模型用于视频监控中人体异常行为检测，对视频中每个对象的像素位置进行描述，对每个像素抽取特征向量，该特征向量包含每一像素的位置、运动的速度和方向、隶属于目标对象的大小，最终形成视觉信息词本和文档，并定义一个有效的词本，作为涵盖监控视频中的像素可查询的字典；

S2、量化对象的像素位置

在视频监控获得的视频中，行为是以行为发生者的位置为特征的，因此，将位置信息考虑到词本的构建中，把视频中对象的像素位置量化成不重叠的10*10的细胞元中，对于M×N的视频对象，因此能够获得M/10×N/10个细胞元组；

S3、描述场景中的前景目标的大小

为了准确表示视频对象中前景目标，本方法把每一个前景像素和该像素属于何种前景目标联系起来，在视频监控获得的视频数据中，观察到的前景框基于它们的大小能够划分为两类，一类为小的前景框，是行人，一类是大的前景框，包括车辆或者一群行人；因此，使用K-means聚类来分类前景框的大小，从而得到每个像素隶属的前景目标，取K-means中的聚类数k＝2，最终使用聚类标号1和2来描述场景中的目标的大小，即1为小目标，2为大目标；

S4、确定前景像素的运动情况

对于视频监控中的场景，分析的内容针对于前景目标，需要进行背景减除得到前景像素，并对得到的每个前景像素根据Lucas-Kanade光流算法求解该像素的光流信息，通过设定光流向量大小的阈值来界定前景静态像素和动态的像素；再把动态的像素量化成具有运动方向、轨迹、位置、速度4种运动描述词描述的运动状态，因此，对于检测到的前景像素，有具有运动方向、轨迹、位置、速度和静止5种运动描述词确定前景像素的运动情况；

S5、定义视频序列和像素点

将视频监控中的场景下的视频序列记为将分割成若干视频序列，其中，为分割的第m个视频片段，把视频序列看做当前的语料库W，则对应语料库中的文档，在视频片段中，定义像素点为词，每个词对应一个主题，则随着时间t的变化，在中，各个词主题向其它主题产生转移或自转移状态，由Markov ChainMonteCarlo特性可知，这种特性在经过一段时间后会达到一种平稳分布；

S6、建立词本

根据上述步骤所述对于M×N的视频对象每个像素的位置有M/10×N/10种表示，运动形式有5种描述，大目标和小目标有两种表述，能够得到的词的表达为M/10×N/10×5×2种形式，即对于某个前景像素，存在种描述方式，但在某一时刻下，每个像素的运动信息和隶属的目标具有独立性，即对于视频片段，随着时间t的变化形成的不同的主题，其主题应该是独立分别获取的，因此,每个位置能够采用联合特征来表示将运动和大小的特征进行级联，然后作为每个细胞元的词的集合，用V_c表示，这就表示在构建一个视频段时，一个像素要对本位置同时提供两种特征词——运动和隶属的目标大小，则最终词本能够表示成M/10×N/10×(5+2)形式；因此，一个像素的特征词定义成w_c,aC为细胞元位置，a为运动形式和大小的联合特征；

S7、语料库的建立

将监控视频分成短的若干个视频段，每个视频段作为一篇文档，视频段中随时间t变化的像素点表示成文档中出现的词以及这一系列词表示的主题内容，再以每个像素生成的词本为依据，若语料库中的总的词频为N，则在所有的N个词中，如果关注每个词v_i的发生频率次数n_i，那么

则语料库中每一语料的概率为：

其中，指语料库中每个词发生的频率次数的概率；

那么，对于每一个具体的主题并由该主题产生语料库中词汇的概率则最终语料库产生的概率就是对每一个主题上产生的词汇概率的累加求和：

语料库W中的服从多项式分布，

主题服从一个概率分布这个分布成为参数的先验分布，先验分布选择多项式分布的共轭分布——Dirichlet分布；根据Dirichlet的分布规律，来计算出文本语料的产生概率为：

其中，代表Dirichlet先验分布的参数；所述文本语料是由文档组成语料库

将视频序列看作一篇文档，文档则是由多个主题混合而成，而每个主题都是词汇上的概率分布，视频序列中每个像素代表的每个词是由一个固定的主题生成的，这个过程就是文档建模的过程，即为一个词袋模型：若有T个主题-词，记为每个主题对应一个词向量的概率分布对于包含M篇文档的语料C＝(d₁,d₂,…,d_M)中的每篇文档d_m，都会有一个特定的文档主题即每篇文档对应的主题向量概率分布为那么第m篇文档d_m中每个词的生成概率为：

整篇文档的生成概率为：

由于文档之间相互独立，根据公式(10)写出整个语料的生成概率，生成主题模型，然后使用EM算法进行求解局部最优解；

S8、肢体冲突行为的判断

基于低维时空特征提取和主题建模的肢体冲突行为检测方法，结合低维的数据特征表示和基于模型的复杂场景分析，以此对视频序列进行分析，根据在视频中检测出人体位置，利用动作中人体位置信息的变化，学习出一个与身体部位无关的整体运动模型，通过分析整体运动模型，将检测到的结果与模型中的参数进行对比，进而判断出人体运动状态，每种行为会对应一种主题分布，在训练好的模型情况下，所测试的视频片段中如有出现肢体冲突的情况，那么这种行为会集中分布在一种主题中，进而根据主题确定这种行为是属于出现肢体冲突的状态。