[发明专利]基于贝叶斯定理的车辆多模态交互方法

说明书

本发明涉及一种基于贝叶斯定理的车辆多模态交互方法，属于人机交互技术领域。根据驾驶员的语音、动作等多种交互方式进行检测输入，得到相关信息后，由贝叶斯分析推断用户的真实意图，将用户的真实意图输入反馈执行装置，经过相关处理后，以视觉、听觉、触觉等多种方式与用户进行反馈。有益效果是：通过采集声音和驾驶员行为信息两类信息综合得出结论，判断驾驶员的状态或者意图，相较于现有技术，这种数据采集方式可靠性更高，通过贝叶斯公式计算后得出的结果与实际情况更加接近，针对反馈执行装置，通过如语音提示、文字提示、震动等涵盖视觉听觉触觉的较为全面的反馈执行方式，为用户提供了更为精准的反馈。

技术领域

本发明涉及人机交互技术领域，具体为汽车人机交互领域与智能算法领域，特别涉及一种多模态交互的方法。

背景技术

随着信息时代的快速发展，人机交互在人们的生活和工作中扮演着越来越重要的角色，汽车内的信息娱乐功能也得到了巨大的提高，从之前单一的收音机功能到导航、上网功能，再到现在以语音交互为主的智能辅助功能。新技术的快速发展使得驾驶员的出行体验不断提高，也对驾驶员的要求不断提高，驾驶员需要不断加强对汽车的认知，才能准确的使用到相关技术发明，使得学习成本不断增加。

在如今现有的汽车HMI领域中，驾驶员一般是通过按键触摸和语音系统与汽车进行交互。由于点触式与汽车进行交互的过程十分繁琐，驾驶员在驾驶过程中通常难以准确的通过此方法达到目的，在行进过程中还容易造成各种安全问题，触摸点击的交互使用频率很低。而对于语音交互系统而言，由于车内通常还会存在各类噪音，如风噪、发动机噪声等，这些噪音会对车内语音识别系统造成干扰，继而导致车内语音识别系统无法准确判断用户意图，降低用户使用体验。除噪音外，驾驶员的方言或口音等多种影响因素同样会对语音识别的准确度造成影响。

专利《多模态深度融合机载座舱人机交互方法》公开号：CN 109933272A，提出通过对飞行员的触摸控制指令或语音输入确定其意图完成相应操作，但只是基于对飞行员指令的被动接受，并没有主动检测到如飞行员员疲劳、注意力不集中等信息。

发明内容

本发明提供一种基于贝叶斯定理的车辆多模态交互方法，以提高汽车交互系统的有效性与可靠性。

本发明采取的技术方案是，包括下列步骤：

步骤1：多传感器综合采集多模态行为信息：

通过姿态检测专用摄像头拍摄驾驶员的行为动作，获得驾驶员进行不同操作时的姿态变化；通过前置摄像头拍摄驾驶员面部照片，获得驾驶员表情信息；通过眼动仪传感器捕捉眨眼的动作，判断驾驶人员疲劳程度；通过车载智能语音系统得到驾驶员语音信息，获得驾驶员具体指令；

步骤2：特征提取：

对传感器采集信息的数据进行特征提取，形成对驾驶员人体行为的底层表达；并从所述特征出发，进一步对各信息进行数字化表示，确定其与贝叶斯网络节点之间的对应关系，并确定取值；

步骤3：基于现实数据的贝叶斯网络搭建及训练：

获取过往现实情景下车辆行驶时的多传感器采集数据，对其进行特征提取并结合驾驶员的真实行为意图构建训练数据集，利用训练数据集中的样本搭建并训练贝叶斯网络，确定其网络结构和概率分布，得到训练好的贝叶斯网络，从而建立特征和用户行为意图之间的映射关系，实现多种特征与单一结果判定一一对应的映射关系；

步骤4：将获取到的多模态特征信息输入基于现实数据搭建的贝叶斯网络，得到用户的真实意图；

步骤5：根据推断出的用户意图，反馈执行装置通过视觉、听觉、触觉等多模态对用户进行合适的反馈。