[发明专利]一种基于语义分割的安全带检测方法

权利要求书

1.一种基于语义分割的安全带检测方法，其特征在于，所述基于语义分割的安全带检测方法包括：

获取车辆的正面图像，将所述正面图像划分为训练集和测试集，并对所述正面图像中的司机和安全带分别进行标注，得到司机图片集和安全带图片集；

将所述训练集输入第一卷积神经网络，完成对司机特征检测的参数训练，得到司机特征检测的结果图P_i；

将所述训练集输入第二卷积神经网络，完成对安全带特征检测的参数训练，得到安全带特征检测的结果图P_k；

根据所述司机特征检测的结果图P_i和安全带特征检测的结果图P_k，得到司机是否佩戴安全带；

将所述测试集分别输入第一卷积神经网络和第二卷积神经网络，得到司机特征检测的测试结果图P_i′和安全带特征检测的结果图P_k′，判断是否继续训练；

将所述训练集输入第一卷积神经网络，完成对司机特征检测的参数训练，得到司机特征检测的结果图P_i包括：

选取19层卷积神经网络作为第一卷积神经网络，所述第一卷积神经网络依次包括第一卷积层、第二池化层、第三卷积层、第四池化层、第五卷积层、第六卷积层、第七卷积层、第八池化层、第九卷积层、第十卷积层、第十一卷积层、第十二池化层、第十三卷积层、第十四卷积层、第十五卷积层、第十六池化层、第十七反卷积层、第十八反卷积层、第十九反卷积层；所述第一卷积神经网络的图片输入的维度为224×224×3，所述第一卷积层输出的图片维度为224×224×32，第二池化层输出的图片维度为112×112×32，第三卷积层输出的图片维度为112×112×64，第四池化层输出的图片维度为56×56×64，第五卷积层输出的图片维度为56×56×128，第六卷积层输出的图片维度为56×56×64，第七卷积层输出的图片维度为56×56×128，第八池化层输出的图片维度为28×28×128，第九卷积层输出的图片维度为28×28×256，第十卷积层输出的图片维度为28×28×128，第十一卷积层输出的图片维度为28×28×512，第十二池化层输出的图片维度为14×14×512，第十三卷积层输出的图片维度为14×14×1024，第十四卷积层输出的图片维度为14×14×512，第十五卷积层输出的图片维度为14×14×1024，第十六池化层输出的图片维度为7×7×1024，第十七反卷积层输出的图片维度为28×28×128，第十八反卷积层输出的图片维度为112×112×32，第十九反卷积层输出的图片维度为224×224×3；

所述第一卷积层的卷积核为3×3，第三卷积层的卷积核为3×3，第五卷积层的卷积核为3×3，第六卷积层的卷积核为1×1，第七卷积层的卷积核为3×3，第九卷积层的卷积核为3×3，第十卷积层的卷积核为1×1，第十一卷积层的卷积核为3×3，第十三卷积层的卷积核为3×3，第十四卷积层的卷积核为1×1，第十五卷积层的卷积核为3×3；

向第一卷积神经网络输入司机图片集，在第一卷积神经网络的第一卷积层至第十六池化层中，利用公式(1)对第一卷积神经网络进行正向传播和反向传播；

x^j＝F(x^j-1)+Wxⁱ (1)

其中，x^j表示矩阵的输出，x^j-1表示矩阵的输入，xⁱ表示矩阵的输入，i，j均表示第一卷积神经网络的层数，其中j＞i，F(x^j-1)表示对x^j-1进行卷积操作，W表示调整维度矩阵；

在第一卷积神经网络的第十七反卷积层至第十九反卷积层中，通过上采样反卷积方式，即对第十六池化层输出的图片维度进行还原放大，所述第十七反卷积层、第十八反卷积层、第十九反卷积层分别使用不同大小的卷积核，所述卷积核的大小利用线性递增的方式设定，第十九反卷积层输出的图片中司机的颜色为蓝色；

构造第一卷积神经网络的损失函数为公式(2)，

其中，n表示样本编号，y表示第一卷积神经网络的期望输出，a表示第一卷积神经网络的实际输出，ln表示取对数操作，当J＜0.001，完成对司机特征检测的参数训练，得到司机特征检测的结果图P_i；

将所述训练集输入第二卷积神经网络，完成对安全带特征检测的参数训练，得到安全带特征检测的结果图P_k包括：

选取16层卷积神经网络作为第二卷积神经网络，所述第二卷积神经网络依次包括第二十卷积层、第二十一池化层、第二十二卷积层、第二十三卷积层、第二十四卷积层、第二十五卷积层、第二十六卷积层、第二十七池化层、第二十八卷积层、第二十九卷积层、第三十卷积层、第三十一卷积层、第三十二卷积层、第三十三池化层、第三十四反卷积层、第三十五反卷积层；所述第二卷积神经网络的图片输入的维度为224×224×3，所述第二十卷积层输出的图片维度为224×224×32，第二十一池化层输出的图片维度为112×112×32，第二十二卷积层输出的图片维度为112×112×32、第二十三卷积层输出的图片维度为112×112×32、第二十四卷积层输出的图片维度为112×112×64、第二十五卷积层输出的图片维度为112×112×32、第二十六卷积层输出的图片维度为112×112×64、第二十七池化层输出的图片维度为56×56×64、第二十八卷积层输出的图片维度为56×56×128、第二十九卷积层输出的图片维度为56×56×64、第三十卷积层输出的图片维度为56×56×128、第三十一卷积层输出的图片维度为56×56×64、第三十二卷积层输出的图片维度为56×56×128、第三十三池化层输出的图片维度为28×28×128、第三十四反卷积层输出的图片维度为56×56×64、第三十五反卷积层输出的图片维度为224×224×3；

所述第二十卷积层的卷积核为3×3，第二十二卷积层的卷积核为3×3，第二十三卷积层的卷积核为3×3，第二十四卷积层的卷积核为3×3，第二十五卷积层的卷积核为1×1，第二十六卷积层的卷积核为3×3，第二十八卷积层的卷积核为3×3，第二十九卷积层的卷积核为1×1，第三十卷积层的卷积核为3×3，第三十一卷积层的卷积核为1×1，第三十二卷积层的卷积核为3×3；

向第二卷积神经网络输入安全带图片集，在第二卷积神经网络的第二十卷积层至第三十三池化层中，利用公式(3)对第二卷积神经网络进行正向传播和反向传播；

x^j＝F(x^j-1)+xⁱ (3)

其中，x^j表示矩阵的输出，x^j-1表示矩阵的输入，xⁱ表示矩阵的输入，i，j均表示第二卷积神经网络的层数，其中j＞i，F(x^j-1)表示对x^j-1进行卷积操作；

在第二卷积神经网络的第三十四反卷积层和第三十五反卷积层中，通过上采样反卷积方式，即对第三十三池化层输出的图片维度进行还原放大，所述第三十四反卷积层、第三十五反卷积层分别使用不同大小的卷积核，所述卷积核的大小利用线性递增的方式设定，第三十五反卷积层输出的图片中安全带的颜色为黄色；

构造第二卷积神经网络的损失函数为公式(2)，完成对安全带特征检测的参数训练，得到安全带特征检测的结果图P_k；其中，所述第二卷积神经网络的损失函数为：其中，n表示样本编号，y表示第二卷积神经网络的期望输出，a表示第二卷积神经网络的实际输出，ln表示取对数操作，当J＜0.001，完成对安全带特征检测的参数训练，得到安全带特征检测的结果图P_k；

根据所述司机特征检测的结果图P_i和安全带特征检测的结果图P_k，得到司机是否佩戴安全带包括：

判断第一卷积神经网络输出的图片，如果图片中蓝色面积大于第一固定阈值，找出能够包围蓝色面积的矩形框即蓝色矩形框，得出蓝色矩形框的左上角和右下角的坐标；

判断第二卷积神经网络输出的图片，如果图片中不存在黄色，则司机未佩戴安全带，如果图片中黄色面积大于第二固定阈值，找出能够包围黄色面积的矩形框即黄色矩形框，得出黄色矩形框的左上角和右下角的坐标；

判断黄色矩形框和蓝色矩形框的交集与黄色矩形框之间的比值，如果比值大于第三固定阈值，则司机佩戴安全带，如果比值小于第三固定阈值，则司机未佩戴安全带。