[发明专利]一种基于多特征卷积神经网络的不良驾驶状态识别方法

权利要求书

1.一种基于多特征卷积神经网络的不良驾驶状态识别方法，其特征在于，包括以下步骤：

步骤1：采集并保存车载智能手机惯性传感器数据，对所采集的车载智能手机惯性传感器数据进行预处理，打上标签制成数据集，并记为源数据集；

步骤2：完成对源数据集的数据划分，将源数据集划分成数据单元，对每一个数据单元进行统计学特征提取，得到特征数据集；

步骤3：搭建多特征卷积神经网络，并使用源数据集与特征数据集对多特征卷积神经网络进行充分训练，得到训练好的多特征卷积神经网络模型；

步骤4，使用训练好的多特征卷积神经网络模型对车载智能手机惯性传感器数据进行分类，根据分类结果判断汽车当前驾驶状态是否为不良驾驶状态；

步骤1包括：

步骤1.1：在各种汽车驾驶状态下对所述智能手机的惯性传感器进行数据采集，得到并保存各种驾驶状态下车载智能手机传感器的各项数据，所述惯性传感器包括加速度计与陀螺仪；

步骤1.2：采用数据滤波、坐标转换与数据中心化方法对步骤1.1采集得到的数据进行预处理操作，得到预处理后的数据；

步骤1.3：根据数据采集时的汽车驾驶状态对步骤1.2得到的预处理后的数据进行打标签操作，得到打好标签的数据集，并记为源数据集；

步骤1.1包括：

所述各种汽车驾驶状态包括10种：正常驾驶、停车状态、正常加速、正常减速、正常左转、正常右转、急左转、急右转、急减速和急加速，在这10种状态下分别对车载智能手机的惯性传感器进行数据采集，对加速度计采集手机的三轴加速度acc_x、acc_y、acc_z，对陀螺仪采集手机的三轴角速度gyr_x、gyr_y、gyr_z，并记录采集时刻t，其中，10种驾驶状态各采集D秒，每秒采集n₁次，得到一个数据序列，并保存；

步骤1.2包括：

步骤1.2.1，根据卡尔曼滤波器对得到的数据序列进行数据滤波；

步骤1.2.2，设定当手机正面向上水平放置时，手机坐标系与大地坐标系重合，即沿汽车行驶方向水平向前为y轴正方向，沿汽车行驶方向水平向右为x轴正方向，垂直于x轴y轴平面向上为z轴正方向；手机坐标系与大地坐标系均为右手坐标系；

步骤1.2.3，在采集数据过程中若手机无法保持水平姿态，使用矩阵变换来将手机坐标系下的数据转换到大地坐标系，以下公式分别为x轴、y轴、z轴的坐标旋转矩阵：

其中，R_x(θ)为x轴坐标旋转矩阵，为y轴坐标旋转矩阵，R_z(ψ)为z轴坐标旋转矩阵，θ为手机坐标系x轴与大地坐标系x轴的夹角，为手机坐标系y轴与大地坐标系y轴的夹角，ψ为手机坐标系z轴与大地坐标系z轴的夹角；

使用下式对采集到的手机坐标系下的加速度数据与角速度数据进行坐标转换：

式中，A为采集到的手机坐标系下的加速度数据，G为采集到的手机坐标系下的角速度数据，A_E为经过坐标转换后得到的大地坐标系下的加速度数据，G_E为经过坐标转换后得到的大地坐标系下的角速度数据，将坐标转换后的数据存入数据集A₁中；

步骤1.2.4，使用以下公式对数据集A₁中的数据进行数据中心化处理：

其中，X_c^k为数据集A₁中第c行第k列的数据，e+1为数据集A₁的行数，midX_c^k为中心化处理后的数据集A₁中第c行第k列的数据，从而得到预处理后的数据集A₂；

步骤1.3包括：

用数字0～9来分别对应10种汽车驾驶状态，根据数据集A₂中各行数据采集时对应的汽车驾驶状态对步骤1.2得到的预处理后的数据集A₂打上标签，打上标签即在数据集A₂里增加一列，内容为各行数据采集时汽车驾驶状态对应的0～9的数字，将打上标签后的数据集记为源数据集，源数据集的数据结构如下式所示：

V＝(acc_x′ acc_y′ acc_z′ gyr_x′ gyr_y′ gyr_z′ t S)，

其中V为源数据集数据的行序列，acc_x′为经过预处理的手机x轴加速度数据，acc_y′为经过预处理的手机y轴加速度数据，acc_z′为经过预处理的手机z轴加速度数据，gyr_x′为经过预处理的手机x轴角速度数据，gyr_y′为经过预处理的手机y轴角速度数据，gyr_z′为经过预处理的手机z轴角速度数据，t为该行数据的采集时间，S为该行的数据标签；

所述步骤2，包括：

步骤2.1：根据数据的采集时间，对源数据集进行划分，将同1秒采集到的n₁行数据作为一个数据单元；

步骤2.2：对步骤2.1得到的每一个数据单元进行统计学特征提取，并制成数据集，命名为特征数据集；

步骤2.2包括：

对步骤2.1划分好的数据单元进行统计学特征的提取，需要提取的统计学特征包括：均值、方差、最大值、最小值、变化幅度与平均交叉率，具体包括：

任意取一个数据单元作为当前数据单元，根据以下公式来进行均值计算：

其中，X_i^j为当前数据单元第i行第j列的数据，n+1为每一个数据单元的行数，为当前数据单元第j列数据的均值；

使用下列公式进行计算数据单元每一列的方差：

其中，为当前数据单元第j列的方差；

使用以下公式来计算数据变化的幅度：

其中，Max(X_i)为当前数据单元第i列数据的最大值，Min(X_i)为当前数据单元第i列数据的最大值，为当前数据单元第i列数据的变化幅度；

采用如下公式计算数据单元内各列数据的平均交叉率：

其中，X_i+1^j为当前数据单元第i+1行第j列的数据，γ为指示函数，为当前数据单元第j列数据的平均交差率；

每个数据单元的前6列数据每一列有6个特征值：均值、方差、最大值、最小值、变化幅度、平均交叉率，所以每一个数据单元有36个统计学特征，利用每个数据单元的统计学特征构成一个新的数据集，记为特征数据集，特征数据集有m行36列，m为数据单元的个数；

所述步骤3，包括：

步骤3.1：搭建多特征卷积神经网络，并确定网络结构；

步骤3.2：选择网络优化器并使用源数据集与特征数据集对多特征卷积神经网络进行训练，得到训练好的多特征卷积神经网络模型；

步骤3.1包括：

所述网络结构由3个部分组成，具体搭建方法如下：

第一部分包括输入层、两个卷积层和一个池化层，用于对数据进行卷积特征提取，作用是获取第b个数据单元的卷积特征图，b依次从0取到m，第一部分的输入来自于源数据集，由于每一个数据单元是一个n₁*8的二维数组，取前6列作为第一部分的输入，送到输入层；输入层后面是第一部分的第一个卷积层，该层选用了16个3*3的卷积核，步长为1，填充数量为1，卷积层的输出尺寸计算公式如下列公式所示：

其中，Z是卷积输出数据的长度，W是卷积输入数据的长度，P是填充数量，F是卷积核的长度，S表示步长；对于第一部分中的第一个卷积层，由上述公式计算得到第一部分第一个卷积层的输出数据大小是n₁*6*16；在该卷积层后使用线性整流函数作为激活函数，将经过激活函数的数据送入第一部分的第二个卷积层，第二个卷积层采用32个3*3卷积核，步长为1，填充数量为1，则根据卷积层的输出尺寸计算公式，第一部分第二个卷积层的输出大小是n₁*6*32；第一部分的第二个卷积层后也使用线性整流函数作为激活函数，将经过激活函数的数据送入第一部分的池化层，所述池化层均为最大池化层，对于第一部分的池化层，采用2*2大小的矩形窗口进行滑动，水平方向的步长为2，垂直方向的步长为2，池化层的输出尺寸计算公式如下列公式所示：

其中，Z′是池化层输出的长度，W′是池化层输入的长度，F′为滤波器的长度，S′表示水平方向的步长，根据上述公式，第一部分的池化层输出尺寸为50*3*32，第一部分的池化层输出就是第b个数据单元的卷积特征图；

第二部分由一个卷积层和一个池化层组成，将由第一部分得到的第b个数据单元的卷积特征图与第b-1个数据单元的卷积特征图相融合并整形为一个尺寸为n₁*96的二维向量，命名为全整合特征图，当b＝0时，用尺寸为50*3*32的全0数据来代替第b-1个数据单元的卷积特征图，将全整合特征图送入第二部分的卷积层，该卷积层采用6个3*3卷积核，步长为1,填充数量为1，则根据卷积层的输出尺寸计算公式，第一部分第二个卷积层的输出大小是n₁*96*6；第一部分的第二个卷积层后也使用线性整流函数作为激活函数，将经过激活函数的数据送入第一部分的池化层，该池化层采用2*2大小的矩形窗口进行滑动，水平方向的步长为2，垂直方向的步长为2；根据池化层的输出尺寸计算公式，第二部分的卷积层的输出大小是50*48*6；

第三部分由三层全连接网络组成：输入层、隐藏层与输出层；第三部分的输入层由第二部分的输出与特征数据集共同构成；第二部分的输出大小为50*48*6，特征数据集第b行有36个数据，将它们整合成一个14436*1的一维向量，将这个向量作为第三部分的输入送入输入层；隐藏层放置了1024个神经元，输出层放置了10个神经元，对应汽车的10种驾驶状态。

2.根据权利要求1所述的方法，其特征在于，步骤3.2包括：

将源数据集与特征数据集按照4:1的比例划分为训练集和测试集，在训练的过程中，将源数据集的每个数据单元与特征数据集的每一行作为一个训练单元，损失函数使用交叉熵损失函数，网络优化器采用亚当优化器，对网络进行充分训练，得到训练好的多特征卷积神经网络模型；

步骤4包括：

步骤4.1：实时采集汽车驾驶过程中车载智能手机的惯性传感器数据，使用步骤3得到的训练好的模型对实时采集的数据进行分类，得到汽车当前的驾驶状态类别；

步骤4.2：根据步骤4.1得到的汽车当前的驾驶状态进行判断，若汽车的驾驶状态为：正常驾驶、停车状态、正常加速、正常减速、正常左转、正常右转中任一种，则表明目前司机驾驶状态良好，若汽车驾驶状态为急左转、急右转、急减速、急加速中任一种，则表明出现了不良驾驶状态，发出提示音提醒司机规范驾驶，并进行数据记录，每24小时对司机的不良驾驶次数进行统计，并上传到后台。