[发明专利]基于贝叶斯定理的车辆多模态交互方法

权利要求书

1.一种基于贝叶斯定理的车辆多模态交互方法，其特征在于，包括下列步骤：

步骤1：多传感器综合采集多模态行为信息：

通过姿态检测专用摄像头拍摄驾驶员的行为动作，获得驾驶员进行不同操作时的姿态变化；通过前置摄像头拍摄驾驶员面部照片，获得驾驶员表情信息；通过眼动仪传感器捕捉眨眼的动作，判断驾驶人员疲劳程度；通过车载智能语音系统得到驾驶员语音信息，获得驾驶员具体指令；

步骤2：特征提取：

对传感器采集信息的数据进行特征提取，形成对驾驶员人体行为的底层表达；并从所述特征出发，进一步对各信息进行数字化表示，确定其与贝叶斯网络节点之间的对应关系，并确定取值；其中：

姿态检测专用摄像头可以通过人体骨骼跟踪技术实时地处理并得到操作者的骨骼模型以及骨骼模型中关键节点的三维坐标数据，开车时人们使用上肢的肢体语言，通过上半身运动来传达自己的真实意图，选取左手手腕关节点、右手手腕关节点、左手手肘关节点、右手手肘关节点、左肩关节点、右肩关节点以及头部关节点七个关节点作为关键点，获取其三维坐标数据，然后对坐标数据进行检测处理，将每个点的活动范围都分为9个区域，用0-8表示，当某个关键点的坐标落入某个区域时我们就用该区域的数字来表示，将处理后的七个关键点数据保存到特征E₁,E₂,E₃,E₄,E₅,E₆,E₇中，它们的取值都为0-8；

前置摄像头拍摄的用户面部照片通过训练好的深度卷积神经网络识别表情E₈，不同的表情在E₈中用不同的数字表示；

眼动仪传感器可以通过数据分析，获得特征PERCLOS即单位时间内眼睛闭合时间所占的百分率、特征BF即眨眼频率和特征MECD即一定时间内，最长一次眼部闭合持续的时间，用于专注和疲劳程度检测，对PERCLOS特征、BF特征和特征MECD分别进行离散化处理，划分为五档，分别用数字0-4来表示并保存在特征E₉、E₁₀和E₁₁中；

车载智能语音系统通过麦克风获取语音信息并通过自然语言识别转为相应的文本描述信息，再将预先设定的关键词信息提取到E₁₂中，不同的语音信息在E₁₂中用不同的数字表示；

步骤3：基于现实数据的贝叶斯网络搭建及训练：

获取过往现实情景下车辆行驶时的多传感器采集数据，对其进行特征提取并结合驾驶员的真实行为意图构建训练数据集，利用训练数据集中的样本搭建并训练贝叶斯网络，确定其网络结构和概率分布，得到训练好的贝叶斯网络，从而建立特征和用户行为意图之间的映射关系，实现多种特征与单一结果判定一一对应的映射关系；

步骤4：将获取到的多模态特征信息输入基于现实数据搭建的贝叶斯网络，得到用户的真实意图；

步骤5：根据推断出的用户意图，反馈执行装置通过视觉、听觉、触觉多模态对用户进行反馈。