[发明专利]一种多模态交互系统和方法

说明书

本申请公开了一种多模态交互系统和方法，包括：信息采集模块，采集脑电信号、肌电信号、唇部图像、眼部图像以及生理参数信息；处理模块对接收到的脑电信号、肌电信号、唇部图像、眼部图像以及生理参数信息分别进行预处理得到多种数据，使用机器学习对多种数据进行命令、语言信息以及情绪的识别；对情绪识别结果进行可靠性评估，发送识别出的命令和/或语言信息至交互模块；交互模块发送命令至被操控设备，将语言信息发送至接收设备。通过根据多种信号对命令和/或语言信息以及情绪进行识别，能够得到精确度高的命令和/或语言信息，并且使用多种信号识别得到的命令和/或语言信息，通过交互模块发送至被操控设备或接收设备，具有更多样的功能。

技术领域

本申请涉及脑机接口技术领域，尤其涉及一种多模态交互系统和方法。

背景技术

在人们的日常生活中，语言是人们最常使用的交流方式之一。随着运算与存储技术的不断发展，语音识别技术作为信息社会朝着智能化和自动化方向发展的关键技术之一，具有重要的研究意义和实用价值。近二十年来，语音识别技术取得了显著进步，但过于依赖外部条件，具有场景限制这一问题依旧存在。比如，当语音信号的信噪比过低时，识别准确率会大大降低。另一方面，语音交流增加了不安全通信及隐私泄露风险。在这种特殊因素环境下，缄默通信的提出为人们的日常交流提供了新的选择。

缄默通信系统的应用场景十分广泛。它不止可以用于后天病理性发音障碍人群的语言功能恢复，还可用于军事指挥作战、隐私保护等特因环境场合中。其中，无声语音识别技术通过面部肌电信号和唇部的光学图像实现，理解并分析信号所包含的语音信息，并转换为非语音信号与外界进行交流。

然而现有的缄默通信系统识别精确度低，功能单一，因此，需要提供一种精确度高，功能多的交互系统和方法。

发明内容

为解决以上问题，本申请提出了一种多模态交互系统和方法。

一方面，本申请提出一种基于视线跟踪的多模态交互系统，包括：信息采集模块、处理模块和交互模块；

所述信息采集模块，用于采集脑电信号、肌电信号、唇部图像、眼部图像以及生理参数信息，发送至处理模块；

所述处理模块，用于对接收到的所述脑电信号、肌电信号、唇部图像、眼部图像以及生理参数信息分别进行预处理，得到多种数据，使用机器学习对多种所述数据进行命令识别、语言信息识别以及情绪识别；对情绪识别结果进行可靠性评估，发送识别出的命令和/或语言信息至交互模块；

所述交互模块，用于将命令发送至被操控设备，将语言信息发送至与其相连接的接收设备。

优选地，所述处理模块包括：

预处理单元，用于对脑电信号和肌电信号进行第一预处理，得到脑电数据和肌电数据，对唇部图像进行第二预处理，得到唇部特征，对眼部图像进行第三预处理后，得到眼部处理数据，保留眼部处理数据中的感兴趣区域，对所述感兴趣区域进行第二预处理，得到眼部特征，对所述生理参数信息进行第四预处理，得到生理数据；

命令识别单元，用于对脑电数据进行分析处理，得到频率和相位特征，对所述频率和相位特征进行识别，得到命令；

语言识别单元，用于使用机器学习对肌电数据和唇部特征进行处理，得到语言信息；

情绪识别单元，用于使用机器学习对唇部特征、眼部特征以及生理数据进行处理，得到情绪识别结果，发送至评估单元；

评估单元，用于对情绪识别结果进行可靠性评估，发送识别出的命令和/或语言信息至交互模块。

优选地，所述机器学习包括：循环神经网络，时延神经网络，长短时记忆神经网络，卷积神经网络，深度残差网络。

优选地，所述分析处理包括：典型相关分析，任务相关成分分析，独立成分分析，主成分分析。