[发明专利]一种行人违规行为预测和运动轨迹跟踪系统和方法

权利要求书

1.一种行人违规行为预测和运动轨迹跟踪系统的跟踪方法，其特征在于，所述系统包括高速相机、后端服务器、客户端和语音系统；

所述高速相机、语音系统均与所述后端服务器有线或者无线连接；

所述后端服务器与客户端通过网络连接；

所述高速相机，用于拍摄斑马线实时路况和交通灯实时颜色，并将照片实时上传至所述后端服务器；

所述后端服务器，用于处理相机拍摄的图片信息，并通过显示屏图片信息，识别其中的违规行为并进行实时反馈操作；反馈操作包括：反馈违规行为到语音系统进行语音警告行人，上传违规数据至客户端进行违规次数统计，反馈客户端统计违规次数较多的路口至交通部门以进行驻派交警进行及时管制；

所述客户端，用于存储统计行人的违规数据并按照路口位置对于违规次数进行统计，从而可以按需分配交警至违规行为频发的路口进行交通管制；

所述语音系统，对行人违规行为进行警告；

所述跟踪方法包括以下步骤：

步骤1、系统开启并开始运行；

步骤2、高速相机采集现场实时信息，并上传至后端服务器；

步骤3、后端服务器对接收的图片进行实时处理、分析并追踪感兴趣的目标，目标包括行人与斑马线的位置和交通灯颜色；

步骤4、服务器首先将判定存在违规的场景实时反馈至语音系统提醒行人返回至安全位置，此外，服务器将违规场景数据发送至客户端；

步骤5、客户端根据路口位置统计违规次数；

步骤6、客户端设定阈值，判断统计的违规次数超过该值时，客户端进行报警通知交警到现场进行实时管制；

所述步骤3具体包括以下操作：

步骤3.1、运动目标检测

采用背景差法进行运动目标检测，通过运动目标的检测处理来获取背景差值二分图，得到运动区域，为行人违规检测提供基础，包括：

步骤3.1.1、通过中值滤波法对图像进行预处理，中值滤波的表达式为：

式中，I(i，j)表示坐标为i和j的像素值；I_fliar为滤波输出后的像素值；

步骤3.1.2、通过背景相减法来获取背景；

步骤3.1.3、背景差分，通过视频当前帧减去背景参考帧，然后对所的图像选择合适的阈值二值化后，即得到完整的运动目标，设当前帧图I_i背景图像为B，背景差分二值图为：

在差分二值图像的灰度值为255的像素点即可视为前景的运动目标点；

步骤3.1.4、形态学处理，包括膨胀、腐蚀和开运算；

步骤3.2、行人检测

采用了RGB颜色匹配模型和模板匹配模型来完成行人检测，包括：

步骤3.2.1、建立RGB颜色匹配模型；

首先选出目标具有颜色特征的区域作为颜色的采样区域，将采样区域内的若干点选定为采样点，并按照目标的结构比例记录其位置：

P_k，j＝(cx(j)-α_k，jr·(j)，cy(j)-β_k，jr(j)) (3)

其中P_k，j、(cx(j)，cy(j))、r(j)分别为目标j的第k个采样点的位置坐标、质心坐标、目标半径；α_k，j，β_k，j表示该采样点相对质心移动的距离系数；在第一帧中，将各目标的采样点对应的RGB三个维度的颜色值，依次存入颜色模型矩阵ColorMode(K，J，V)，K，J，V分别表示采样点总数、目标总数及维度；因此，第j个目标的第k个采样点对应的原RGB图像中的第v维的颜色值为：

colorMode(K，J，V)＝F(P_k，j，v) (4)

其中，k∈(1，K)，j∈(1，J)，v∈(1，V)

F为输入图像，在此后的各帧中，如第i帧，按同样的选取采样点的规则对目标进行颜色采样，再与已有的ColorMode对比；

|F_i(P_k，j，v)-ColorMode(k，j，v)|＜T

v＝1，2，3 (5)

F_j(P_k，j，v)分别表示k目标j的第个采样点在R、G、B维度的颜色值，T为各维度匹配时允许的色差阈值；若满足式(5)，则认为该采样点与颜色模型匹配，即实现了简化的颜色匹配；并用第i帧中目标j的各采样点的颜色值F_j(P_k，j，v)替换ColorMode中相应位置的原值，实现颜色模型的更新；若未实现目标匹配，则不更新颜色模型；若检测到新生目标，按照同样方法建立颜色模型，并采用简化的颜色匹配方法在后续帧中进行目标匹配；各帧中每个目标都在相同的特殊点处采样，并将前后帧相同采样处的颜色值进行比对，选取K＞＞1个采样点，根据具体跟踪情况设定一个匹配数的阈值，若实现匹配的采样点数超过该阈值，则认为该目标实现了匹配；

步骤3.2.2、模版匹配模型

检测匹配区域：图像块从左往右或从上往下一次移动一个像素，在每一个位置，都进行一次度量计算来表明块图像和原图像的特定区域的相似性；

步骤3.2.3、目标轮廓标记

目标提取之后，需要对目标进行轮廓的标记，在FPGA中，具体的的流程包括：

Step1：统计出目标区域的每一个像素点的坐标；

Step2：将坐标的前后左右坐标的最大值和最小值计算出来；

Step3：根据这些最大值和最小值，得到跟踪标记；

步骤3.2.4、对违规行为进行预测和跟踪

在后端服务器内提前设置一条警戒线，系统检测的区域包括行人、斑马线的位置和交通灯颜色，警示线会根据斑马线的位置自动调整到适当地预测位置，出现的情况分为两种，包括：

灯为绿，警戒线将不起作用，行人可以自由通过路口；

灯为红，警戒线将起到警示作用，警戒线自动调整到距离斑马线50CM的地方，一旦有行人越过警戒线，判定为违规行为，系统做出警示；具体包括：

Step1：通过卷积层对视频中所要提取的信息点进行减少，提取信息之后进行整体判断；

Step2：经过DeeplabV3+模型对视频中的目标进行处理；

Step3：利用KCF算法进行目标跟踪。