[发明专利]基于卷积姿势机和长短时记忆网络的交警手势识别方法

说明书

基于卷积姿势机和长短时记忆的交警手势识别方法属于电子信息领域。本发明在分析交警手势的关节铰接特征基础上，建立基于关节点和骨架的交警手势模型；应用CPM提取交警手势的关键节点，并在此基础上提取交警手势骨架的相对长度及其与重力加速度的夹角作为交警手势的空间上下文特征；将CPM与LSTM结合提取交警手势的空间和时序特征，并构造了CTPGR；创建交警手势视频库，并对CTPGR进行训练和验证；实验证明CTPGR可以快速准确的识别交警手势，系统的准确率达到95.09％，并对光线、背景和交警手势位置变化具有较强的抗干扰能力。

技术领域

本发明属于电子信息领域，是一种基于计算机视觉、可应用于自动驾驶的交警手势识别技术。

背景技术

交警手势识别是无人驾驶的重要组成部分。目前，实现交警手势识别主要有两种方法：基于可穿戴传感器的方法和基于计算机视觉的识别方法。虽然基于可穿戴设备交警手势识别具有较高识别率，但是其会增加交警负担，实施和维护成本较高，难以推广应用。而基于计算机视觉的方法易于实现，但其识别准确率易受背景、光照或交警手势运动变化等因素影响。近年来深度学习算法在图像识别、自然语言处理等领域应用取得优异效果，为交警手势识别提供了新的实现方法。

针对基于计算机视觉的交警手势识别中存在的问题，本文引入基于深度学习的卷积姿势机(Convolutional Pose Machines，CPM)和长短时记忆 (Long Short TimeMemory,LSTM)进行交警手势命令识别。

发明内容

本文针对基于计算机视觉的交警手势识别技术易受光照、背景和手势动态变化影响等问题，结合CPM和LSTM构造交警手势识别机(Chinese Traffic Police GestureRecognizer,CTPGR)提取交警手势的时空特征，实现交警手势的快速准确识别。本发明涉及如下4点：

(1)在分析交警手势的关节铰接特征基础上，建立基于关节点和骨架的交警手势模型；

(2)应用CPM提取交警手势的关键节点，并在此基础上提取交警手势骨架的相对长度及其与重力加速度的夹角作为交警手势的空间上下文特征；

(3)将CPM与LSTM结合提取交警手势的空间和时序特征，并构造了CTPGR；

(4)创建时长约2小时的交警手势视频库，并对CTPGR进行训练和验证；实验证明CTPGR可以快速准确的识别交警手势，系统的准确率达到95.09％，并对光线、背景和交警手势位置变化具有较强的抗干扰能力。本发明核心算法：

(1)基于关节点和骨架的交警手势建模

通过分析中国公安部2007制定的“新版交通手势信号”，可知交警手势均由连贯的头部转动、双臂摆动并结合手势组成，是典型的关节铰接型姿态。交警的铰链式姿势可抽象为14个部件，如图1(a)所示。图1(b)描述了这些部件的坐标，其集合为Y。Y由头部关键节点Y_head、上身关键节点 Y_upper、下身关键节点Y_lower三个集合构成，即

依据人体骨骼及相互间的依赖关系，Y中相邻关键节点间存在连接依赖关系，这些连接依赖关系如图1(c)所示。交警手势所含关键节点间的连接关系集合表示为S。s为其中的一条关键节点连接(即s∈S)，其起始关键节点和终止关键节点分别为Y_m和Y_n，则表示了交警手势所含的一条骨架矢量。与关键节点分类方法类似，S由头部骨架S_head、上身骨架 S_upper和下身骨架S_lower 3部分构成。即：

(2)基于CPM的交警手势关键节点提取技术