[发明专利]一种基于图像处理的ATM视频智能监控方法

权利要求书

1.一种基于图像处理的ATM视频智能监控方法，其特征在于：

人脸遮挡检测模块、遗留物检测模块和徘徊行为检测模块三个模块是并列运行，单独运行任何一个模块，合作同时运行三个模块，人脸遮挡检测模块中利用SeetaFace对人脸进行活体检测，再利用adaboost眼睛和嘴部的检测器在人脸标记窗口内进行检测判断人员是否发生脸部遮挡行为；遗留物检测模块中利用混合高斯背景建模GMM和三帧差算法相结合提取暂时静止的物体，然后利用该物体的颜色相似度，灰度直方图匹配等方法对目标进行跟踪，统计目标静止的帧数t，并和阈值帧数T进行比较来判断该目标是否为遗留物；徘徊行为检测模块在Caffe深度框架下，利用SSD算法对监控区域内的人体进行检测，然后利用相似度跟踪算法对人体进行跟踪，计算目标的路径和位移，来判断该目标是否发生了徘徊行为。

2.根据权利要求1所述的监控方法，其特征在于：

遗留物检测模块算法设计：运用混合高斯背景建模GMM和三帧差法检测出前景和暂时静止目标，利用基于YCrCb颜色空间中的Y通道的阴影消除算法准确提取出暂时静止目标，然后利用灰度平均值和质心判距离法对暂时静止目标进行跟踪并统计其持续静止时间t，若t>阈值T,则被认定为遗留物，对其进行标记。

3.根据权利要求1所述的监控方法，其特征在于：

徘徊行为检测模块算法设计：在C++语言平台下搭建Caffe深度网络框架，利用SSD算法对监控视频每帧实现人体检测，然后将检测到的目标转换为HSV颜色模型，利用视频前后两帧的颜色特征和H通道的灰度直方图特征，计算两帧目标的欧式距离，来实现目标跟踪，计算目标行走的路径S和位移L，若S/L>1.5，则在该监控区域内，有目标发生了徘徊行为并实施报警响应。

4.根据权利要求1所述的监控方法，其特征在于，人脸遮挡检测模块实现步骤：

步骤1：对SeetaFace进行编译，并配置VS2013和OpenCV；

步骤2：在线收集眼睛和嘴部的数据集并做好xml类型文件的标签；

步骤3：用Adaboost级联分类器训练眼睛和嘴部的检测器，并调用SeetaFace人脸检测引擎中的人脸检测器对监控视频的每帧进行人脸检测；

步骤4：在检测到的人脸区域利用Adaboost训练好的eyes和mouth检测器进行检测，若在检测到人脸的情况下没有检测到眼睛或者嘴部的时候，则认为人员发生了脸部遮挡行为。

5.根据权利要求1所述的监控方法，其特征在于，遗留物检测模块实现步骤：

步骤1：利用GMM混合高斯背景建模对视频进行处理提取监控区域内的前景目标fore_gmm；

步骤2：利用三帧差法对视频进行处理提取监控区域内的前景目标fore_diff；

步骤3：将上边两步得到的前景相减fore_gmm–fore_diff得到暂时静止物体的前景frame_static；

步骤4：将frame_static前景区域的原图区域转换为YCrCb颜色通道，Y通道为图像的亮度通道，而前景物体容易受到灯光等因素影响产生阴影，通常认为Y通道值在50以下为前景阴影，所以将Y通道值小于50的区域丢弃，取剩下有效前景区域，命名为static_thing；

步骤5：计算视频的前后帧中static_thing区域的质心，和该区域的最小矩形框的长宽比，以及灰度平均值，若前后两帧的static_thing区域的长宽比、灰度平均值以及质心坐标的欧式距离小于5时，认为该处的物体持续静止了一帧，依次累计跟踪帧数，若持续帧数t>阈值帧数T＝80，则认为ATM区域有遗留物。

6.根据权利要求1所述的监控方法，其特征在于，遗留物检测模块实现步骤：

步骤1：对视频的每帧图片利用编译好的Caffe和改进型SSD模型检测ATM监控区域内的人员目标，并标记矩形框；

步骤2：对视频的任意前后两帧中的矩形框目标进行HSV通道的颜色转换，并计算它们的H通道的直方图；利用直方图匹配算法，若前后两帧两个矩形框的匹配度match_value>0.6，则认为该两个框所代表的目标是同一目标，即跟踪成功，否则跟踪失败；

步骤3：计算跟踪成功的目标的移动路径S和位移L，若S/L>1.5，则认为该监控区域内发生了徘徊行为，则发生报警。