[发明专利]一种基于深度学习的交警手势识别方法及无人车

权利要求书

1.一种基于深度学习的交警手势识别方法，其特征在于，包括：

(1)制作训练数据集：

针对每一种交警手势采集多段视频数据，将每一段视频数据记作视频段V＝{F₀,F₁,...F_p,...F_n}，形成训练数据集；其中，F_p表示第p帧图像数据，每一个视频段V均对应单一语义的交警手势，并对相同交警手势所对应的视频段赋予同一指令标注；

(2)离线训练数学模型：

a、针对每一个视频段V，分别采用以下步骤生成对比结果：

使用光流提取网络MotionNet模型提取出视频段V中相邻帧之间的光流特征图，形成光流特征集，包括：

--针对视频段V中的每一对相邻帧图像数据F_p与F_p+1，利用光流提取网络MotionNet模型提取出每一对相邻帧之间的光流特征图；

--利用相邻帧之间的光流特征图以及后一帧图像数据F_p+1，反向计算出前一帧图像数据F_p'；

--针对每一帧图像计算F_p'与F_p之间的误差L；

--以L作为MotionNet模型的目标函数进行反向传播，迭代至L收敛时停止MotionNet模型的训练；

--利用训练后的MotionNet模型提取出每一对相邻帧之间的光流特征图，形成光流特征集；

根据光流特征集和视频段V中的帧图像数据，利用卷积神经网络VGG16模型计算出时间流特征图和空间流特征图，包括：

--针对每一个视频段V及与其对应的光流特征集，采用等间隔分段、段内随机采样的方法，提取出M帧图像数据和M个光流特征图，分别形成帧集合和特征集合；

--将特征集合中的光流特征图作为时间流VGG16模型的输入，将帧集合中的帧图像数据作为空间流VGG16模型的输入，分别进行五组卷积池化后，计算出时间流特征图和空间流特征图；

对时间流特征图和空间流特征图进行卷积融合，生成融合结果；

将融合结果与视频段V所对应的指令标注进行对比，生成对比结果；

b、计算对比结果的误差率，直到误差率降低到预期值以下时，停止训练，保存训练后的光流提取网络MotionNet模型和卷积神经网络VGG16模型；

(3)识别交警手势：

拍摄现场的交警手势，生成手势视频v；

使用训练后的光流提取网络MotionNet模型提取出手势视频v中相邻帧之间的光流特征图，形成光流特征集；

根据手势视频v中的帧图像数据及其对应的光流特征集，使用训练后的卷积神经网络VGG16模型计算时间流特征图和空间流特征图，并通过卷积融合生成手势识别结果。

2.根据权利要求1所述的基于深度学习的交警手势识别方法，其特征在于，在所述制作训练数据集的过程中，在不同天气条件下的不同时间段，针对每一种交警手势进行视频数据的多次采集，形成多个视频段V，构成所述训练数据集。