[发明专利]基于最大间隔马尔可夫网模型的双人交互行为识别方法

说明书

基于最大间隔马尔可夫网模型的双人交互行为识别方法,包括:采用一种最大间隔方法实现的结构化模型对高层语义建模，通过人工设定少量的特征模板表示交互行为；包括单人语义识别和交互行为识别两个步骤；对双人数据库进行单人跟踪,分别得到交互中的两人,对单人提取能够表征局部外观和局部运动的动作上下文描述符作为底层特征,采用度量学习的方法得到单人原子行为语义；将单人原子行为语义及其所属的交互行为和特征模板结合,训练结构化的最大间隔马尔可夫网得到建模交互行为的模型,利用该模型推断双人的交互行为。该方法能够在跟踪阶段有效排除背景干扰，在交互建模时起到纠错作用，识别效果良好。

技术领域

本发明属于图像处理技术及模式识别领域，特别涉及基于最大间隔马尔可夫网模型的双人交互行为识别方法。

背景技术

人体行为识别，尤其是日常生活中最常见的人与人之间的交互行为的识别，对于智能监控有着重大意义，是计算机视觉和模式识别领域备受关注的热点和难点。然而，客观环境的多样性以及人体运动的复杂性使得人体行为识别变得异常困难。而目前对于交互行为识别的方法主要体现在对底层特征的空间和时间的结构建模上，对行为识别中的高层语义描述的研究还较少，现存的高层行为语义建模的方法大多比较复杂，需要人工设定大量的规则，因此如何根据底层的特征得到人类可以直接理解的行为语义仍是一个挑战。

在现存的基于高层语义描述的双人交互行为识别算法中，有一系列算法是基于随机文法和马尔可夫逻辑网模型的，随机文法是Ryoo和Aggarwal提出的用于对群体行为的高层语义进行描述，基于文法的方法可以有效地对复杂行为的内部结构进行建模，但是这类方法大多需要人工设定所有可能的产生式规则，工作量过大，而且传统的基于知识和逻辑推理的方法只能进行知识的精确推理，对于输入数据的错误和不确定性无能为力。马尔可夫逻辑网(Markov Logic Network，简称MLN)是将马尔可夫网和一阶逻辑知识库相结合，既能灵活的进行建模，同时又能处理不确定性的情况，但是该模型也需要人工设定大量的规则，模型复杂。

发明内容

现存的高层行为语义建模的方法大多比较复杂，又因为交互行为具有时序性，两人交互动作的发生在时间上有前后之分，针对这两种情况，本发明提出一种相对简单的利用最大间隔算法实现的结构化的高层语义建模方法。该方法包括如下步骤：

步骤1：对双人数据库进行单人跟踪,分别得到交互中的两人,对单人提取能够表征局部外观和局部运动的动作上下文描述符作为底层特征,采用度量学习的方法得到单人原子行为语义；

步骤2：将单人原子行为语义及其所属的交互行为和特征模板结合,训练结构化的最大间隔马尔可夫网得到建模交互行为的模型,利用该模型推断双人的交互行为；

作为本发明的进一步改进,所述步骤1具体包括：

步骤11对双人行为数据库，采用将结构化的局部稀疏模型和可变的模板更新策略想结合的跟踪算法,分别跟踪得到交互的两人；

步骤12对跟踪得到了单人,分别提取剪影、光流特征，将这两种特征融合，计算得到运动上下文描述符，将运动上下文描述符加在剪影和光流特征之后，作为底层特征，用于表示单人行为；

步骤13将提取的单人行为特征分为训练和测试两部分，采用一种新型的度量学习算法-大间隔最近邻模型学习得到一个全局转换矩阵，利用该矩阵在测试部分识别单人原子行为语义；

作为本发明的进一步改进,所述步骤2具体包括：

步骤21设定特征模板和测试文件，测试文件包括单人原子行为语义及其对应的交互行为，特征模板用于表示单人原子行为语义及其对应的交互行为之间的关系；

步骤22将特征模板和测试文件输入到马尔可夫网中，通过最大间隔算法，训练得到能够识别交互行为的模型；

步骤23利用交互行为模型，对于单人识别的原子行为语义进行识别，得到他们所属的交互行为。