[发明专利]一种主动红外车载夜视路况检测及语音播报系统

权利要求书

1.一种主动红外车载夜视路况检测及语音播报系统，其特征在于，该系统包括：

主动发射红外光的半导体激光器；

接受红外反射光的红外接收器；

对车辆前方进行拍摄的CCD高清摄像仪；

分别连接半导体激光器、CCD高清摄像仪、红外接收器的FPGA开发板；

通过蓝牙接收FPGA开发板输出信息的手机；其中：

所述FPGA开发板控制半导体激光器发射红外光，红外接收器接收障碍物的反射光将其转变为电信号传入FPGA开发板，FPGA开发板计算障碍物与车辆的距离；CCD摄像仪将拍摄获取的红外图像传至FPGA开发板，FPGA开发板对红外图像进行预处理，并利用剪枝后的YOLO模型对图像中人或物进行检测及识别；当有障碍物出现，FPGA开发板同时将障碍物距离和检测及识别结果通过蓝牙发送给手机，进行数据显示并实现语音播报。

2.根据权利要求1所述的系统，其特征在于，所述FPGA开发板计算障碍物与车辆的距离，具体为：

最早发射红外光时刻t₁，最早反射时刻t₂，红外光的传播速度V_红外，距离d＝(t₂-t₁)*V_红外/2。

3.根据权利要求1所述的系统，其特征在于，所述FPGA开发板对红外图像进行预处理，具体包括：

(1)采用中值滤波对采集到的原始图像进行滤波降噪处理，对滑动窗口内的像素灰度排序，用中值代替窗口中心像素(x,y)原来的灰度；

(2)采用拉普拉斯算子增强红外图像的目标与背景的对比度，采用的公式为：

其中为自由参数，用于调节锐化程度，(i,j)代表图像的坐标点，f是原始输入图像，g是输出图像，定义为：

(3)采用阈值分割与形态学处理把红外图像中的目标从背景中分离出来。

4.根据权利要求1所述的系统，其特征在于，所述利用剪枝后的YOLO模型对图像中人或物进行检测及识别，具体包括：

(1)搭建剪枝YOLO模型

ⅰ)利用BN层的参数γ对channal的重要性进行评估，其中γ为缩放因子；

原始图像经过卷积后得到feature map，feature map中的每个channal在BN层中对应一个γ，使用γ对channal的重要性进行评估；γ为训练参数，在反向传播过程中，通过链式求导方式对γ不断更新，在训练结束后，得到γ的值；

ⅱ)在损失函数中引入γ缩放因子正则化项，实现YOLO模型的自动剪枝；

其中，l为原先的损失函数，L为引入正则化项的损失函数，∑_γ|γ|为正则化项，β为正则化系数，可自由设置；引入正则化项后，不重要的channal对应的BN层的缩放因子γ会趋向于0，在训练的过程中自动剪枝；

ⅲ)对剪枝后的模型进行权重微调

固定未参与剪枝的层相对应的权重，其余层保留上一轮训练的权重，重新训练模型；

ⅳ)重复迭代步骤ⅲ)十次，得到剪枝的YOLO模型；

(2)利用剪枝后的YOLO模型进行检测与识别

将待检测及识别的红外图像传入剪枝后的YOLO模型，模型将全图分成19x19的格子，每个格生成5个Bounding Box进行检测与识别，计算Bounding Box的置信度即含有目标的可能性以及边界框的准确度，找出每个小格最大概率对应的类别，利用非极大值抑制即NMS算法，得到最后的检测与识别结果。

5.根据权利要求1所述的系统，其特征在于，所述FPGA开发板同时将障碍物距离和检测及识别结果通过蓝牙发送给手机，进行数据显示并实现语音播报，具体包括：

FPGA开发板将障碍物与车辆的距离及检测与识别结果通过蓝牙传给手机APP，APP将获取到的信息组织成“方位”+距离数+“人/物”，将其显示在APP界面并进行语音播报，并显示已框定障碍物的红外图像视频。

6.根据权利要求5所述的系统，其特征在于，所述语音播报是采用Android自带的TextToSpeech API，将文字快速转化为语音进行播放。