[发明专利]视频监控中基于图像概念网络的行人不安全行为检测方法

说明书

本发明公开了一种视频监控中基于图像概念网络的行人不安全行为检测方法，由事先获取的概念词汇表构建基于词激活力的语义概念网络，然后应用社会网络分析方法挖掘概念共现相关提取场景语义概念，进一步实现场景概念检测；另一方面，应用概念推理模型提取视觉一致语义概念特征；最后，应用场景语义概念优化视觉一致语义概念，并应用分类器完成基于图像识别的行人不安全行为检测。本发明能够实现行人不安全行为检测，同时对行人在参与交通过程中普遍存在的不安全行为有很好的预警效果。

技术领域

本发明涉及一种行人不安全行为检测方法，属于视频监控应用和计算机视觉集成领域。

背景技术

马路上行人的交通陋习导致的不安全行为是目前我国道路交通伤害的重要诱因。行人不安全行为如过马路不走人行横道、行走中低头看手机等。如果能够及时对行人不安全行为预警，就能避免交通隐患，保证行人和行车的安全。计算机视觉技术和图像识别技术已经被广泛应用到交通流量控制、车辆检测和追踪等领域。除此之外，图像识别还被广泛应用于人体行为识别，如对于图像中包含的人与对象交互行为的识别，对于图像中包含场景信息的人体行为的识别等。所以，可以利用图像识别来进行行人不安全行为检测。

面向行人不安全行为检测的图像识别技术的关键是跨越语义鸿沟。而要跨越语义鸿沟，关键是获取图像的语义特征。其中，语义概念提取是语义特征提取这一基本研究问题中的一个颇具生命力的方向，也是目前视觉研究中的一个热点。而且，目前的研究表明，利用概念的共现模式，可以加强语义概念的提取。同时考虑到语义概念的关系复杂，类似一个网络。

发明内容

发明目的：本发明针对语义概念提取方法的不足，提出一种视频监控中基于图像概念网络的行人不安全行为检测方法，采用视觉一致语义概念和场景语义概念提取方案，前者用于检测视觉相关语义概念以及同一概念的视觉变化性，后者挖掘语义概念的共现模式和相关性。针对集群概念相关性研究的不足，同时考虑到语义概念的复杂关系类似一个网络，本发明应用复杂网络建模方法——词激活力构建语义概念网络，应用网络分析方法，有效的获取集群概念的相关性。

技术方案：为实现上述目的，本发明采用的技术方案为：

一种视频监控中基于图像概念网络的行人不安全行为检测方法，由事先获取的概念词汇表构建基于词激活力的语义概念网络，然后应用社会网络分析方法挖掘概念共现相关提取场景语义概念，进一步实现场景概念检测；另一方面，应用概念推理模型提取视觉一致语义概念特征；最后，应用场景语义概念优化视觉一致语义概念，并应用分类器完成基于图像识别的行人不安全行为检测。

具体包括以下步骤：

步骤1，给定训练集，提取每幅图像的语义概念，根据其在图像中的位置信息组成句子，同类图像概念构成的句子集合为一个文本，由此构建语义概念词汇表。

根据给定训练集和查询图提取图像的视觉特征，应用概念推理模型提取视觉一致语义概念，同时根据语义概念词汇表建立个体概念模型，进而提取图像描述子。

步骤2，基于词激活力的概念网络建模：由语义概念词汇表通过网络结构对语义概念网络建模，应用词激活力转化为图像语义概念激活力，构建基于词激活力的语义概念网络，并应用社会网络分析方法挖掘图像语义概念的共现属性，提取场景语义概念描述子。

步骤3，融合个体语义概念特征和场景语义概念特征获取融合特征，或者以场景语义概念描述子优化图像描述子作为最终特征，把融合特征或者优化后的图像描述子输入到线性SVM分类器(Support Vector Machine，支持向量机)对分类器进行训练，利用训练好的分类器实现行人不安全行为检测从而给定不安全行为标识。

优选的：所述步骤2中基于词激活力的语义概念网络构建包括以下步骤：