[发明专利]一种基于Faster RCNN的红绿灯无人驾驶辅助装置及方法

权利要求书

1.一种基于Faster RCNN的红绿灯无人驾驶辅助装置及方法，包括塑料装置外壳、广角摄像头、显示屏(蜂鸣器)提醒模块、运行图像处理和红绿灯识别主程序的树莓派3B+。其特征在于：基于可旋转的机械结构设计的广角摄像头，实时采集完图像后，经过内置深度学习系统的树莓派主控进行处理，得到的红绿灯结果通过显示屏和语音进行提示。

2.根据权利要求1所述的装置设计，其特征在于：所述的装置摄像头支架可以进行360°旋转和弯曲，便于不同位置的安装。装置外壳的左侧留有内置电池充电口、USB接口和开关机的开孔，外壳的正面留出液晶显示屏的开孔。为了防止显示屏损坏，显示屏正面附有一层透明玻璃。

3.根据权利要求1所述的广角摄像头，其特征在于：摄像头拍摄的水平可视角度在120°以上，可以观测到车前更广阔的场景。摄像头分辨率在640×480和1280×960之间，帧率不低于25fps，采用标准USB接口连接主控，UVC协议，免驱动安装。

4.根据权利要求1所述的显示屏和蜂鸣器提示模块，其特征在于：所述OLED显示屏尺寸为1.3寸，可以使用I2C或SPI接口通信，分辨率为128×64，工作电压为3.3V。所述蜂鸣器内部自带震荡源。

5.根据权利要求1所述的主控版，其特征在于：所述的主控板采用树莓派Model 3B+，搭载官方最新的Raspbian操作系统。装置内部放置一块3.7V 3800mAh的mini电池，用于给树莓派供电，最大输出电流1.4A，持续使用可以保证8小时左右的续航。

6.一种基于RCNN的红绿灯自动识别方法，其包括以下步骤：

a.开启装置时，自动启动树莓派上运行的基于TensorFlow框架的Python识别程序，程序会加载预先训练好的Faster RCNN神经网络模型，等待模型加载完毕后，会自动打开摄像头。

b.当摄像头开始采集图像时，系统开始稳定运行。摄像头采集的图像需要进行预处理操作来加快处理速度和减少耗时，预处理操作包括将图片统一缩放到320×240的分辨率，并用3×3的高斯核进行滤波平滑处理，预处理后的图片送入深度神经网路。

c.当使用RCNN深度神经网络处理图像时，RCNN会对图像中的红绿灯位置进行定位，并返回红绿灯区域外接矩BB(Bounding Box)的四个坐标点。为了防止误判，通过外接矩的面积、在图像中的位置进行二次筛选，排除掉一定的负样本。通过这些坐标点，从原图中裁剪出可能的红绿灯区域，进行最后的确定与识别。

d.当使用Lab颜色空间进行红绿灯识别时，将剪切后的图像从BGR颜色空间转到Lab颜色空间后，单独提取出a通道，红灯的a通道将会是一块很亮的区域，而绿灯的a通道则是很暗的区域，如果没有很亮或很暗的区域，则说明不是红绿灯区域。这样就可以识别最终的红绿灯结果。