[发明专利]驾驶员行为检测方法及装置、安全驾驶提醒方法及装置

权利要求书

1.一种驾驶员行为检测方法，其特征在于，包括：

基于驾驶员的驾驶图像和所述驾驶图像对应的人体关键点数据，确定所述驾驶员的人体整体区域图像和人体面部区域图像；

基于所述人体整体区域图像，确定所述驾驶员的第一行为识别信息；

基于所述人体面部区域图像，确定所述驾驶员的第二行为识别信息；

基于所述人体关键点数据、所述第一行为识别信息和所述第二行为识别信息，确定所述驾驶员的行为检测结果。

2.根据权利要求1所述的驾驶员行为检测方法，其特征在于，所述人体关键点数据包括手部关键点数据，所述基于所述人体关键点数据、所述第一行为识别信息和所述第二行为识别信息，确定所述驾驶员的行为检测结果，包括：

基于所述第一行为识别信息和所述第二行为识别信息，确定驾驶行为分数；

若所述驾驶行为分数落入预设危险驾驶分数范围，基于所述手部关键点数据，确定所述驾驶员对应的手持物体检测信息；

基于所述手持物体检测信息、所述第一行为识别信息和所述第二行为识别信息，确定所述行为检测结果。

3.根据权利要求2所述的驾驶员行为检测方法，其特征在于，所述基于所述手部关键点数据，确定所述驾驶员对应的手持物体检测信息，包括：

基于所述手部关键点数据，确定所述驾驶员的人体手部区域图像；

基于所述驾驶员的人体手部区域图像，确定所述驾驶员对应的手持物体检测信息。

4.根据权利要求3所述的驾驶员行为检测方法，其特征在于，

所述基于所述人体整体区域图像，确定所述驾驶员的第一行为识别信息，包括：将所述人体整体区域图像输入人体姿态识别模型，得到所述第一行为识别信息；

所述基于所述人体面部区域图像，确定所述驾驶员的第二行为识别信息，包括：将所述人体面部区域图像输入人体行为分类模型，得到所述第二行为识别信息。

5.根据权利要求4所述的驾驶员行为检测方法，其特征在于，所述人体姿态识别模型用于：

基于所述人体整体区域图像，确定右手关键点和右耳关键点之间的第一距离、右手关键点和左耳关键点之间的第二距离、左手关键点和左耳关键点之间的第三距离以及左手关键点和右耳关键点之间的第四距离；

若所述第一距离、所述第二距离、所述第三距离以及所述第四距离中的至少一个满足预设打电话距离阈值范围，则将所述第一行为识别信息确定为打电话行为信息。

6.根据权利要求4所述的驾驶员行为检测方法，其特征在于，在将所述人体面部区域图像输入人体行为分类模型，得到所述第二行为识别信息之前，还包括：

获取多位样本驾驶员各自对应的驾驶图像序列；

基于所述多位样本驾驶员各自对应的驾驶图像序列，生成第一危险驾驶图像集和第一安全驾驶图像集；

删除所述第一安全驾驶图像集中的部分图像，得到第二安全驾驶图像集，以便提高所述第一危险驾驶图像集对应的样本比例；

基于所述第一危险驾驶图像集和所述第二安全驾驶图像集训练初始网络模型，得到所述人体行为分类模型。

7.根据权利要求6所述的驾驶员行为检测方法，其特征在于，在所述基于所述第一危险驾驶图像集和所述第二安全驾驶图像集训练初始网络模型，得到所述人体行为分类模型之后，还包括：

基于所述多位样本驾驶员各自对应的驾驶图像序列，生成测试图像集；

利用所述人体行为分类模型对所述测试图像集进行测试，筛选出第一困难样本集和第二困难样本集，其中，所述第一困难样本集包括图像标签为危险驾驶行为且驾驶行为分数落入预设安全驾驶分数范围的多帧测试图像，所述第二困难样本集包括图像标签为安全驾驶行为且所述驾驶行为分数落入预设危险驾驶分数范围的多帧测试图像；

将所述第一困难样本集加入所述第一危险驾驶图像集，生成第二危险驾驶图像集；

将所述第二困难样本集加入所述第二安全驾驶图像集，生成第三安全驾驶图像集；

基于所述第二危险驾驶图像集和所述第三安全驾驶图像集训练所述人体行为分类模型，以便提升所述人体行为分类模型的精度。