[发明专利]车载终端设备、车载交互系统和交互方法

说明书

本发明实施例公开了一种车载终端设备、车载交互系统和交互方法，所述车载终端设备包括：语音输入单元、图像输入单元、声音输出单元、显示单元、处理单元和通信单元，各单元交互协作完成基于机器视觉的智能语音识别和图像识别，以及多模态的信息交互处理，从而实现输入信息的准确识别、精确的语义理解以及个性化的输出，提升用户的人机交互体验。

技术领域

本发明涉及车联网领域，特别是涉及一种智能车载人机交互系统及交互方法。

背景技术

现代社会，交通工具越来越多的渗透到人们的生活、学习、工作中，作为交通工具重要一员的汽车逐渐成为人们生活的一部分。伴随着车联网技术的快速蓬勃发展，汽车的互联化、智能化成为可能。车联网技术的一个重要组成部分是车载交互系统，作为人与汽车之间交互的重要桥梁，车载交互系统在汽车的安全度、舒适度、性能提升和使用体验方面发挥着不可替代的作用。而人工智能技术的崛起为车载交互系统注入了新的活力，掀起了车载交互系统智能化的新一代革命。车载交互系统的智能化程度和用户体验对于舒适度提升起着关键作用。

现有技术中一种较为主流的交互方式是通过机械按钮和触摸屏的组合实现常用功能。由于机械按钮操作繁琐，配备数量和使用频率都在显著下降，随着车内触摸屏扩大化的趋势，其逐渐被触摸屏完全取代。触摸屏交互通常需要驾驶员先进行视觉观察，定位触摸位置，且触摸后也需要进行结果查看，否则无法获得相关的结果反馈。但是，在汽车行驶途中查看屏幕会分散驾驶员的注意力，降低驾驶过程的安全性。此外，触摸屏通常设置于汽车前排，只有前排驾驶员和乘客才能进行操作，后排乘客则无法获得交互的入口，影响了用户体验。

另一种新兴的交互方式则是语音交互，即以语音作为输入方式，通过语音识别技术对输入进行处理，并将语音播报作为输出。但是，语音交互对于车内环境有着较高要求，车内各种形式的噪声，如风噪、胎噪、发动机噪声、车载音箱干扰等，均会对语音识别的准确度造成较大影响，特别是对于非前装语音交互系统，想要获得好的语音交互体验是比较困难的。

除此以外，部分车载交互系统还提供了手势交互和唇语交互作为操作入口。但是，手势能够表达的内容非常有限，使用率并不高，而单独的唇语识别难以实现较高的识别率，往往还需要配合语音识别等其它识别手段，导致目前应用较少。因此，现有技术亟需一种能够实现输入信息的准确识别、精确的语义理解以及个性化输出的车载交互系统和交互方法。

发明内容

本发明实施例提供了一种车载终端设备、车载交互系统和交互方法，可以实现输入信息的准确识别、精确的语义理解以及个性化的输出，提升用户的人机交互体验。

一方面，本发明实施例提供一种车载终端设备，包括：语音输入单元，用于采集语音输入信号；图像输入单元，用于采集图像输入信号，所述图像输入信号包括人脸图像信号、表情图像信号、唇部图像信号以及瞳孔图像信号中的一种或多种；声音输出单元，用于产生声音输出信号；显示单元，用于显示交互信息；处理单元，用于控制所述语音输入单元、所述图像输入单元、所述声音输出单元和所述显示单元，并用于处理所述语音输入信号和所述图像输入信号；其中处理单元包括机器学习模型建立单元；该机器学习模型建立单元可对人脸图像信号、表情图像信号、唇部图像信号以及瞳孔图像信号中的一种或多种建立一个机器学习模型；通信单元，用于与云端服务设备连接。通过本实施例提供的方案，可以实现基于机器视觉的智能语音识别和图像识别，以及多模态的信息交互处理，从而实现输入信息的准确识别、精确的语义理解以及个性化的输出，提升用户的人机交互体验。

在一个可能的设计中，所述语音输入单元还用于去除或降低噪声，此为本发明的发明点之一。

在一个可能的设计中，所述车载终端还包括发声单元，所述发声单元用于发送所述声音输出信号。

另一方面，本发明实施例提供一种车载交互系统，该系统包括云端服务设备，以及上述方面所述的车载终端设备。