[发明专利]一种基于个性化联邦学习的分心驾驶行为识别方法

说明书

本发明公开了一种基于个性化联邦学习的分心驾驶行为识别方法，首先各车辆节点在车辆行驶时采集图像数据；之后使用个性化联邦学习共同训练一个卷积神经网络模型；最后，各节点使用该模型识别分心驾驶行为。在驾驶行为识别场景中，本发明使用基于边缘计算的去中心化方式实现模型的训练与推理，相较现有的中心化训练与推理方式具有保护用户隐私、实时性好、升级方便等优点。提出的个性化联邦学习算法相较于传统的联邦学习算法能够使所训练的模型更好的适配各节点的数据。

技术领域

本发明涉及计算机视觉和边缘计算领域，具体涉及一种基于个性化联邦学习的分心驾驶行为识别方法。

背景技术

分心驾驶行为导致大量车祸，目前基于计算机视觉的分心驾驶行为方法大多是对深度学习模型进行改进，其训练和推理是中心化的，即模型训练和推理过程只会在本地或者云端进行。

在本地进行分心驾驶行为识别模型训练和推理需要预先收集大量样本，后续模型每升级一次要重新部署一次，比较麻烦；而在云端进行分心驾驶行为识别模型训练和推理，对网络的带宽、延时、稳定性要求极高，除此之外，上传的驾驶图像可能会涉及到驾驶员的隐私。

基于上述在本地和云端进行模型训练和推理存在的问题，如果将模型的训练和推理放在边缘进行，即在数据源和云端之间任何的计算资源和网络资源，在车联网中应用边缘计算则可有效解决上述问题。

联邦学习是边缘计算的一个训练策略，在联邦学习中多个边缘节点与一个边缘服务器组成集群共同训练一个全局模型。其中边缘服务器没有任何训练数据，所有的训练数据均分布在各个边缘节点上，边缘节点每完成一次训练便会将更新后的局部模型上传至边缘服务器，由边缘服务器聚合各节点上传的局部模型，最终实现全局模型的训练。在此过程中每个节点仅上传模型而不上传数据，因此节点用户的隐私也得到了保护。

发明内容

针对现有技术中的上述不足，本发明提供了一种基于个性化联邦学习的分心驾驶行为识别方法。

为了达到上述发明目的，本发明采用的技术方案为：

一种基于个性化联邦学习的分心驾驶行为识别方法，包括如下步骤：

S1、获取车辆节点在车辆行驶时的采集的图像数据；

S2、预装车载分心驾驶行为识别模型并利用步骤S1获取的图像数据进行训练；

S3、利用步骤S2训练完成的模型在车辆节点识别分心驾驶行为。

进一步的，所述步骤S1具体包括：

S11、获取车辆行使过程中的分心驾驶行为图像，并提取当前帧的Hash指纹；

S12、分析当前帧的驾驶行为，若当前帧的Hash指纹与上一帧的Hash指纹之间的Hamming距离大于设定阈值，则判定驾驶员作出分心行为，并将当前帧进行数据增强并保存，其中，数据增强包括对当前帧进行水平翻转、亮度变换、随机平移；

S13、对保存在本地的图像标注对应的的驾驶行为类别，并将其做为训练数据集。

进一步的，所述步骤S13具体包括：

S131、将步骤S12保存的图像送入预训练后的分心驾驶行为识别模型，并输出图像类别；

S132、对置信度大于等于设定阈值的图像进行标注，对置信度小于设定阈值的图像进行舍弃。

进一步的，所述步骤S2具体包括；

S21、以车辆作为节点，使用车载自组网构建车辆间通信网络，并选取其中一个节点作为边缘服务器；

S22、利用边缘服务器初始化全局模型，其中第t轮循环时的全局模型记为ω_t，并将全局模型分发给各个节点；