[发明专利]一种多模态信息融合的智能车路面类型识别方法

权利要求书

1.一种多模态信息融合的智能车路面类型识别方法，其特征在于，包括以下步骤：

步骤1、路面感知信息采集与特征提取：采用实测实验采集不同道路类型下的传感器感知信息，针对不同模态的感知信息采用不同的建模方法进行特征提取，且所有感知信息的采样频率设置相同；

所述步骤1路面感知信息采集与特征提取分别包括：

步骤1.1、轮胎胎噪特征提取：从声学传感器收集轮胎的胎噪信息，分别采用统计分析，功率谱特征分析，MFCC算法提取29维轮胎胎噪信息；

步骤1.2、激光雷达路面特征提取：从激光雷达的点云数据提取路面信息，采用统计分析的方法从激光雷达的感知信息提取10维度特征；

步骤1.3、图像路面特征提取：采用迁移学习的Alexnet模型对不同路面类型的图像进行特征提取，然后采用PCA算法对提取的特征进行降维处理获得路面图像的特征向量；

步骤1.4、车辆动力学响应特征提取：从车载CAN信号和车载GPS及惯导系统中提取10维车辆响应特征；

步骤2、数据预处理与LSTM道路类型识别模型建模：对步骤1中提取的特征向量进行预处理，构建LSTM道路类型识别模型，完成模型的离线训练和验证；

所述步骤2数据预处理与LSTM道路类型识别模型建模包括以下步骤：

步骤2.1、数据预处理：包括数据归一化，时间序列分割；

步骤2.2、时间序列LSTM道路分类模型建模：LSTM模型的输入层设置为特征向量的维度；隐含层神经元选用双向长短期存储器；全连接层设置为代表道路类型的数量；一层SoftmaxLayer用于计算每一次道路类型预测的置信概率；最后一层是分类层，用于输出道路类型的识别结果；

步骤2.3、模型训练参数设置：包括模型优化算法，初始学习率，最大迭代周期，Mini-Batch Size以及模型训练环境；

步骤2.4、时间序列LSTM道路类型识别模型建模训练与测试；

步骤3、模型部署与在线识别：将通过步骤2训练好的LSTM道路类型识别模型部署到边缘计算设备，并使用训练好的LSTM道路类型识别模型对路面类型进行在线识别。

2.如权利要求1所述的一种多模态信息融合的智能车路面类型识别方法，其特征在于，所述步骤1.1轮胎胎噪特征提取具体包括以下步骤：

步骤1.1.1、从声学传感器收集胎噪原始信号，将原始的双通道音频修改为单通道音频；

步骤1.1.2、通过标定实验采集在不同发动机转速下的发动机噪声，并记录不同转速下噪声的频域特性；

步骤1.1.3、根据当前发动机转速噪声的频域特性，采用带通滤波器对原始的胎噪信息进行降噪处理；

步骤1.1.4、对降噪后的胎噪信号采用统计分析的方法提取12维特征向量，分别包括：均值特征、中值特征、标准差特征、平均绝对偏差、四分位数、偏态系数、峰度、香农熵、谱熵；

步骤1.1.5、采用快速傅里叶变换将胎噪信号转化为频域信号，从频域信号的功率谱中提取3维特征，分别包括：主频值，主频振幅，主频比；

步骤1.1.6、采用MFCC算法从胎噪信号中提取14维特征向量，分别为：MFCC1—MFCC14；

步骤1.1.7、将胎噪的统计特征、谱功率特征、MFCC算法提取的特征向量组合成29维的胎噪特征向量，完成胎噪特征的提取。

3.如权利要求1所述的一种多模态信息融合的智能车路面类型识别方法，其特征在于，所述步骤1.2激光雷达路面特征提取具体包括以下步骤：

步骤1.2.1、采用实车实验分别采集不同路面类型激光雷达的点云感知信息，并对不同道路的点云数据进行标注；

步骤1.2.2、确定点云横向位置的分割阈值W_limit；

步骤1.2.3、对处理后点云的回波信息采用统计分析的方法提取10维特征向量，分别包括：均值特征、中值特征、标准差特征、平均绝对偏差、四分位数、极差、标准分。