[发明专利]基于视觉和语音的智能性别、情绪识别检测系统及方法

说明书

技术领域

本发明涉及汽车安全辅助系统，特别涉及基于视觉和语音的智能性别、 情绪识别检测系统及方法。

背景技术

抬头显示器HUD(HeadUpDisplay)，是普遍运用在航空器上的飞行辅 助仪器。抬头的意思是指飞行员不需要低头就能够看到他需要的重要资讯。 因为HUD的方便性以及能够提高飞行安全，民航机也纷纷跟进安装。HUD 是利用光学反射的原理，将重要的飞行相关资讯投射在一片玻璃上面。这片 玻璃位於座舱前端，高度大致与飞行员的眼睛成水平，投射的文字和影像调 整在焦距无限远的距离上面，飞行员透过HUD往前方看的时候，不会妨碍 到眼睛的运作，维持清晰的显示。

HUD的基本架构包含两个部分：资料处理单元与影像显示装置。资料 处理单元是将飞机上各系统的资料整合处理之後，根据选择的模式转换成预 先设定的符号，图形或者是以文字或者是数字的型态输出。有些产品将讯号 处理与影像输出分成两个装置，不过大致上都是类似的工作方式。影像显示 装置就是安装在座舱前方，位于飞行员与座舱罩之间的空间上。影像显示装 置接收来自资料处理装置的资讯，投射在玻璃上面。显示装置并且附有控制 面板，能够调解或者是改变输出的影像。

新一代的HUD在影像显示方面的改良包括采用全像摄影(Holographic) 显示方式，扩大显示影像的范围，尤其是增加水平上的视野角度，减少支架 的厚度对於视野的限制与影响，增强不同光度与外在环境下的显示调整，强 化影像的清晰度，与其他光学影像输出的配合，譬如说能够将红外线影像摄 影机产生的飞机前方影像直接投射到HUD上，与其他的资料融合显示，配 合夜视镜的使用以及采用彩色影像显示资料。在资料处理单元上的改良包括 提高处理的速率和效率,HUD是将影像投射在座舱前方的固定装置上，当飞 行员转动头部的时候，这些影像就会暂时离开他的视野范围。新一代的HUD 更适合广泛地运用在汽车上。

在人们的固有观念里，驾驶最应该注重的自然是安全，不过随着智能手 机的普及，手机用户们无时无刻不依赖手机带来的便利和快捷。电话、短信、 微信的实时沟通，多媒体的使用，地图导航工具等等这些，然而在“低头族” 日益增多的今天，手机带给我们的便利却极大的影响了驾驶的安全性。多种 形式的交通事故都是由于车主在驾驶过程中由于使用手机而造成的。汽车厂 商们开始意识到中控屏幕的重要性，再加上车辆作为最大的终端设备，更让 车上的这块“屏”成为了兵家必争之地。然而车载中控屏幕的存在确实让驾 驶变得更为安全了，但在实际体验中，依然有车载中控屏幕上的各项弊端和 不方便之处，依然会让驾驶员分心。

目前的车载语音交互系统都是使用预置的语音和语调与驾驶员进行交 互，交互规则死板，不能根据驾驶员的性别/情绪进行个性化定制，不能满足 用户个性化的需求。

发明内容

本发明要解决的技术问题是，根据情绪和性别，提供个性化的智能语音 交互功能，提升驾驶体验。

解决上述技术问题，本发明提供了基于视觉和语音的智能性别、情绪识 别检测系统，包括，

基于图像的情绪和性别识别模块，用以根据人脸图像进行车内人员的情 绪识别，以及根据人脸进行车内人员的性别识别；

基于语音的情绪和性别识别模块，用以根据人的语音进行车内人员的情 绪识别，以及根据语音进行车内人员的性别识别；

融合模块，用以将所述性别识别的结果进行匹配并发送到个性化智能语 音交互系统，以及用以将所述情绪识别的结果进行融合并发送到个性化智能 语音交互系统；

个性化智能语音交互系统，根据接收到的匹配结果和融合结果进行语音 交互。

基于视觉和语音的智能性别、情绪识别检测系统，还包括采集模块，包 括图像采集装置和声音采集装置，所述图像采集装置用以，采集车内的实时 图像信号，并将所述图像信号按照视频流发送至基于图像的情绪和性别识别 模块，所述声音采集装置用以，采集车内的实时声音信号，并将所述声音信 号发送至基于语音的情绪和性别识别模块。

所述个性化智能语音交互系统还包括，消息单元、通信单元、音乐单元、 导航单元、CAN接口，

所述消息单元，用以推送车辆保养、车辆出租消息，

所述通信单元，用以与外部设备进行蓝牙或者WI-FI连接，

所述音乐单元，用以提供本地或者线上音乐，