[发明专利]一种基于模糊推理的人群情绪识别方法

说明书

本发明涉及图像处理与视频分析领域，公开了一种基于模糊推理的人群情绪识别方法，首先提取场景中视频序列前景图像，计算人群运动焓值，接着利用光流法跟踪运动FAST特征点，求出人群运动方向，幅度，依此计算出人群运动幅度方差和人群运动混乱程度，然后利用运动FAST特征点结合维诺图求出人群密度。最后利用模糊控制工程中的模糊推理理论，将人群运动焓值和人群运动幅度方差输入激励度模糊推理系统，将人群运动混乱程度和人群密度输入愉悦度模糊推理系统，分别得到激励度和愉悦度的模糊值，根据重心法对输出的模糊值去模糊化，得到激励度和愉悦度的精确值，根据所得值的大小判断人群情绪的状况。

技术领域

本发明涉及视频分析与图像理解领域，尤其涉及一种基于模糊推理的人群情绪识别方法。

背景技术

人群情绪识别是智能人机交互的重要研究课题，该方向也受着越来越多学者的青睐。人群情绪识别主要分为个人情绪识别和群体情绪识别。目前的研究大多集中在个体的情绪识别，而在群体情绪的识别研究上却是刚刚起步。然而随着城市人口的迅速增长，伴随着遮挡以及拥挤的问题，研究个体情绪已经不太符合现在社会的发展情况。人群情绪识别是人群异常检测的进一步拓展，它不仅可以进行异常检测，最主要的是可以进行人群安全预警，在异常还没发生前就可以提前感知人群的情绪异常，让安全人员提前做出反应，给人们以更人性化的服务。

模糊推理，即从不精确的前提集合中得出可能的不精确结论的推理过程，是不确定推理的一种。经过多年的发展，已经有了严格的逻辑基础。但目前尚未有学者将其应用到群体情绪识别中来，它无需像机器学习方法一样进行大量的先验训练，并且实现简单、操作方便。并且，在视频监控领域，根据图像提取的特征往往不是精确的，例如人群密度、运动能量的大小，运动的混乱程度。

为了捕捉细致的情感变化，愉悦度—激励度模型将情绪状态被判别到多个维度中。激励度描述了情感的强度级别，范围为从消极到积极。愉悦度表示了情绪的愉悦级别，范围从否定到肯定。然而，大部分人群情绪估计结果只有情绪的四种分类，并没有真正细粒度的进行人群情绪的识别。如果将场景中人群的情绪看成是人群各种特征共同作用的结果，不同特征之间通过模糊规则连接在一起，共同构建模糊推理系统。那么就可以对人群情绪进行更加细粒度的估计。

发明内容

本发明提出一种基于模糊推理的人群情绪识别方法，目的是利用不同反应人群情绪的特征通过一定的规则和推理方法，结合愉悦度—激励度情绪模型，达到估计场景中人群情绪的目的。

为实现上述目的，采用了以下技术方案：

所述识别方法包括以下步骤：

步骤1，利用ViBe前景提取方法处理所选场景视频生成的帧序列，获得人群前景图像，利用LK光流法求出前景图像的光流场，利用焓值公式求出前景人群图像微块的焓值；

步骤2，利用LK光流法跟踪图像帧中FAST特征点，得到每个特征点的运动方向和大小，依此求出人群运动幅度方差和人群运动混乱程度；

步骤3，利用运动FAST特征点描述人群大致分布位置，结合维诺图计算出FAST特征点的密度，依此描述人群密度；

步骤4，利用人群运动焓值和人群运动幅度方差构建激励度模糊系统；利用人群运动混乱程度和人群密度构建愉悦度模糊系统；通过将模糊系统的输出去模糊化，得到激励度和愉悦度的精确值。

进一步的，所述步骤1的具体方法如下：

步骤1.1，在所选场景视频生成的帧序列中利用ViBe法提取人群运动前景，利用LK光流法求出前景中每个像素的光流；