[发明专利]一种基于深度学习的厢式货车厢门状态识别方法

权利要求书

1.一种基于深度学习的厢式货车厢门状态识别方法，其包括以下步骤：

S1、建立图像识别网络模型：所述图像识别模型采用基于yolo-v3-tiny改进后的网络，在原第8层前依次增加卷积核大小为3×3、1×1的两层卷积层，且所述两层卷积层的滤波器个数分别为256、128个；并在两个yolo层之前增加一个共同的共享层，所述共享层将两个yolo层的原输入特征图中各类别输出值经加权平均后作为两个yolo层的输入；

S2、获取训练样本：在运输通道的预设位置对车辆进行图像自动采集，以位于车辆侧后方的侧后相机、位于运输通道上方的俯视相机及侧向的侧视相机所采集的三幅图片融合为一幅样本图片，对所述样本图片进行厢门状态标注后形成训练数据集；

S3、离线训练所述网络：对网络进行参数配置，以获取的所述数据集对所述网络模型进行离线训练，获得货车厢门状态识别模型；

S4、货车厢门状态在线识别：基于多传感器对车辆位置的检测，触发对车辆进行多角度图像采集并将侧后相机、俯视相机及侧视相机所同步采集的三幅图片融合成待测图片后输入到所述图像识别网络，经所述网络识别获得货车厢门状态信息，并将所述信息输出。

2.根据权利要求1所述的一种基于深度学习的厢式货车厢门状态识别方法，其特征在于，所述步骤S2中还包括如下处理：

以位于通道侧前方的车牌相机采集车牌区域图像，在所述训练数据集中加入标注了车牌框的所述车牌图像样本；

所述步骤S4中还包括如下处理：

基于经离线训练的所述网络模型对所采集的车牌图像进行识别，获得车牌区域锚框，

对车牌区域图像进行预处理，根据车牌区域锚框获取含有目标字符的ROI区域，

根据ROI区域内可能出现的字符分析构建字符的二值化特征模板库，

针对所获取的ROI区域，检测分离出单个字符，对每个字符进行特征提取后进行模板匹配，识别出单个字符，

将所有单字符按顺序组合成车牌号。

3.根据权利要求1所述的一种基于深度学习的厢式货车厢门状态识别方法，其特征在于，所述步骤S4中还包括以下处理：根据货车的当前车速和厢门状态对其运行状态进行评估并根据评估结果对货车和/或道闸控制器进行告警和/或管控；

其中，车速按如下方式获取：

记录车辆被第一、第二检测模块检测到的时间的间隔为△t1，车辆离开所述第一、第二检测模块的时间的间隔为△t2，则所述速度V的计算式为，

式中，L为所述第一、第二检测模块之间的距离。

4.根据权利要求1所述的一种基于深度学习的厢式货车厢门状态识别方法，其特征在于，所述厢门状态标注包括门闭、门开两个类别输出，所述样本图片及待测图片中，所述三幅图片按倒品字形或品字形方式融合为一幅样本图片且侧视图片占图片约一半的空间，所述侧后相机采集图像时光轴与货厢后端面的夹角取值为15～45度。

5.根据权利要求1所述的一种基于深度学习的厢式货车厢门状态识别方法，其特征在于，所述厢门状态标注包括左、右厢门各自的开、闭状态共四个类别输出，所述样本图片及待测图片中，所述三幅图片按倒品字形或品字形方式融合为一幅样本图片且侧视图片占图片约一半的空间，所述侧后相机采集图像时光轴与货厢后端面的夹角取值为15～45度。

6.根据权利要求1所述的一种基于深度学习的厢式货车厢门状态识别方法，其特征在于，所述步骤S4中的多角度图像采集基于多个呈线阵式分布检测模块的触发；当车辆离开其中第一检测模块之时触发侧后相机；当下述条件满足时触发侧视相机与俯视相机：第三检测模块检测到车辆，且以第三检测模块为基准，位于其前向与后向的检测到车辆的检测模块个数比为一设定值；其中所述第一检测模块、第三检测模块和第二检测模块沿车辆前进方向依次布置于道路侧方。