[发明专利]深度学习与图像处理融合的交通信号灯故障检测方法

权利要求书

1.深度学习与图像处理融合的交通信号灯故障检测方法，其特征在于，包括以下步骤：

步骤S1：获得各种天气情况下的电子警察视频流，解码电子警察视频流，得到包含交通信号灯图像，交通信号灯灯组在图像中的位置信息、交通信号灯组内各信号灯的类型信息和位置信息；

步骤S2：配置交通信号灯组信息和灯组内的各个信号灯信息；

步骤S3：建立交通信号灯的检测模型；

步骤S4：对交通信号灯进行图像处理识别；

步骤S5：按信号灯周期统计一个交通信号灯组的状态；

步骤S6：利用信号灯检测模型对交通信号灯图像中的检测区域进行检测，若检测模型未能检测到信号灯，则会对此灯组区域采用图像处理的方法，检测出图中信号灯的位置和状态；将检测到的各个信号灯的位置信息和类别信息与每个信号灯组中配置的信号灯信息进行匹配；对未匹配成功的信号灯，做出交通信号灯的故障判断；

所述步骤S4包括以下步骤：

步骤S41：利用信号灯的周期性，统计一个周期内，信号灯区域内的最大像素图像max_img和最小像素图像min_img；

步骤S42：利用当前周期内信号灯区域图像img,与上个周期内的最小像素图像min_img做减法运算，得到差值图像diff_img；

步骤S43：设置合适的阈值thresh，对差值图像根据阈值进行图像二值化操作，得到信号灯的位置信息；

步骤S44：根据信号灯的位置信息与配置的信号灯的位置信息进行匹配，得到信号灯的类别信息；

所述步骤S41中最大像素图像max_img和最小像素图像min_img的获取方法为：从当前信号周期T1开始，每个信号周期时间为T，以第一帧RGB图像中的灯组区域图像img_1为基准，后续每一帧RGB图像中的灯组区域图像img(t)都将与第一帧图像进行比较，其中t的取值范围是[0,T]，不同t代表不同时刻对应的灯组区域图像img(t)；

设灯组区域最小像素图像为min_img，

灯组区域最大像素图像为max_img；

令：min_img＝img(0)

max_img＝img(0)

在一个信号周期T内，当

min_img[i,j]img(t)[i,j]则min_img[i,j]＝img(t)[i,j]；

max[i,j]img(t)[i,j]则img_max[i,j]＝img(t)[i,j]；

其中[i,j]为图像中像素的坐标，t的取值范围为[0,T]；

当t＝T时，得到T1周期内的最小像素图像min_img和最大像素图像max_img；

所述步骤S43中信号灯的位置信息的获取方法为：从步骤S42中得到的diff_img(t)，设置相应阈值thresh

如果差值图像diff_img(t)[i,j]＝thresh，

则diff_img(t)[i,j]＝255；

反之差值图像diff_img(t)[i,j]thresh，

则diff_img(i,j)＝0；

通过差值图像，得到了二值图像，对二值图像中的白色像素块进行轮廓检测和最小外接矩形获取；设获取的最小外接矩形的中心是(xi,yi),长是hi，宽为wi；

设配置信号灯信息中，

红灯的外接矩形的位置信息是(xr,yr,w,h)；

绿灯的外接矩形的位置信息是(xg,yg,w,h)；

黄灯的外接矩形的位置信息是(xy,yy,w,h)；

倒计时灯的外接矩形的位置信息是(xc,yc,w,h)；

若xr-w/2xixr+w/2，yr-h/2yiyr+h/2，

此图中信号灯识别结果为红灯；

若xg-w/2xixg+w/2，yg-h/2yiyg+h/2，

此图中信号灯识别结果为绿灯；

若xy-w/2xixy+w/2，yy-h/2yiyy+h/2，

此图中信号灯识别结果为黄灯；

若xc-w/2xixc+w/2，yc-h/2yiyc+h/2，此图中信号灯识别结果为倒计时灯；

其中阈值thresh的计算方式如下：

thresh＝mean+α*dev，

其中mean为diff_img(t)的均值，dev为diff_img(t)的标准差，α为系数，α的取值范围在[0,4]之间。