[发明专利]一种基于强化学习的驾驶员异常姿态监测方法

权利要求书

1.一种基于强化学习的驾驶员异常姿态监测方法，其特征在于，准备阶段和检测阶段，其中准备阶段包括：基于时间与空间变化的驾驶员动态行为，利用机器学习算法训练得到驾驶员姿态检测模型，结合保护动机理论建立具有引导性质的安全预警机制；

检测阶段包括以下步骤：

视频获取步骤：通过车载单目摄像机获取驾驶员的驾驶视频；

关键点检测步骤：利用OpenPose关键点检测系统标记视频中每一帧图像中驾驶员的面部关键点和骨骼关键点，使问题规模从图像中的像素点转换为驾驶员姿态变化的关键点；利用参考点重构并归一化处理后的关键点的初始化状态信息之间的拓扑关系提取驾驶员自然驾驶状态特征；

关键帧序列提取步骤：若驾驶员处于非自然驾驶状态，则进行关键帧提取, 关键帧序列提取方法基于强化学习的方式，通过姿态检测模型反馈相应的奖励，并根据奖励和姿态变化更新动作价值函数, 每一个非自然状态的发生都会更新动作价值函数，直到得到适用于每个驾驶员的稳定的关键帧提取策略, 通过关键帧提取策略经过一定时间的自适应在线训练，得到最具代表性的关键帧序列；

姿态检测步骤：若驾驶员处于自然驾驶状态，则直接进行姿态检测；若驾驶员处于非自然驾驶状态，则进行关键帧提取，得到最具代表性的关键帧序列，并将其输入姿态检测模型；关键帧提取过程中若不满足关键帧提取策略，则放弃该时刻的关键帧提取，直接进行姿态检测；

安全预警步骤：根据姿态检测步骤得到的检测结果进行安全预警。

2.根据权利要求1所述的一种基于强化学习的驾驶员异常姿态监测方法，其特征在于，所述准备阶段基于时间与空间变化的驾驶员动态行为，利用机器学习算法训练得到驾驶员姿态检测模型，结合保护动机理论建立具有引导性质的安全预警机制，具体包括：

所述姿态检测模型的训练包括从训练集中采集多帧不连续图像中的关键点作为姿态检测模型的多维度输入数据，该输入数据从空间和时间上对驾驶员的特征以关键点的形式呈现，以类别作为姿态检测模型的输出结果；

所述安全预警机制从驾驶员对社会和交通法规的认识程度上对其驾驶姿态进行解释，以驾驶员对于车内环境的响应来引导其驾驶行为。

3.根据权利要求1所述的一种基于强化学习的驾驶员异常姿态监测方法，其特征在于，所述关键点检测步骤中，利用OpenPose关键点检测系统只选取12个最能表述驾驶员行为的关键点和68个面部关键点，输出其对应于图像中的坐标值。

4.根据权利要求3所述的一种基于强化学习的驾驶员异常姿态监测方法，其特征在于，所述关键点检测步骤中，OpenPose关键点检测系统将研究对象从视频中的每帧图像的全部像素点变成关键点数据，包括将视频中的每一帧图像建模成G(N,W,V)，N向量为80个关键点对应的编号，W向量为80个关键点对应的相对于以脖子为原点的79个相对二维坐标值，V向量为W向量对应的关键点相对于原点的曼哈顿距离，各个变量为：

G_q＝(N_q,W_q,V_q) q＝1,2…n

N_q＝i i＝1,2…80

W_q＝(x_i,y_i)

i表示1-80个关键点，n表示某一动作的最大帧数、y_o表示代表脖子关键点的坐标值、x_o表示脖子关键点的坐标值、o表示脖子对应的关键点，x_i,y_i 表示各个关键点对应的坐标值，q为对应的视频帧编号。