[发明专利]一种多模态交互系统和方法

权利要求书

1.一种多模态交互系统，其特征在于，包括：信息采集模块、处理模块和交互模块；

所述信息采集模块，用于采集脑电信号、肌电信号、唇部图像、眼部图像以及生理参数信息，发送至处理模块；

所述处理模块，用于对接收到的所述脑电信号、肌电信号、唇部图像、眼部图像以及生理参数信息分别进行预处理，得到多种数据，使用机器学习对多种所述数据进行命令识别、语言信息识别以及情绪识别；对情绪识别结果进行可靠性评估，发送识别出的命令和/或语言信息至交互模块；

所述交互模块，用于将命令发送至被操控设备，将语言信息发送至与其相连接的接收设备；完成通信交流及外部设备控制；

所述处理模块包括：

预处理单元，用于对脑电信号和肌电信号进行第一预处理，得到脑电数据和肌电数据，对唇部图像进行第二预处理，得到唇部特征，对眼部图像进行第三预处理后，得到眼部处理数据，保留眼部处理数据中的感兴趣区域，对所述感兴趣区域进行第二预处理，得到眼部特征，对所述生理参数信息进行第四预处理，得到生理数据；

命令识别单元，用于对脑电数据进行分析处理，得到频率和相位特征，对所述频率和相位特征进行识别，得到命令；

语言识别单元，用于使用机器学习对肌电数据和唇部特征进行处理，得到语言信息；

情绪识别单元，用于使用机器学习对唇部特征、眼部特征以及生理数据进行处理，得到情绪识别结果，发送至评估单元；

评估单元，用于对情绪识别结果进行可靠性评估，发送识别出的命令和/或语言信息至交互模块；依据情绪识别结果判断用户情绪状态是否正常，若情绪异常，则提示用户稳定情绪，重新采集信号；

处理模块还包括：训练单元，用于对命令识别单元，语言识别单元，情绪识别单元进行训练，得到训练好的命令识别单元，语言识别单元，情绪识别单元；处理模块的训练模式使用训练单元；

所述处理模块还包括：输出识别单元，用于根据眼部特征，对命令和/或语言信息进行确认。

2.如权利要求1所述的交互系统，其特征在于，所述机器学习包括：循环神经网络，时延神经网络，长短时记忆神经网络，卷积神经网络，深度残差网络。

3.如权利要求1所述的交互系统，其特征在于，所述分析处理包括：典型相关分析，任务相关成分分析，独立成分分析，主成分分析。

4.如权利要求1所述的交互系统，其特征在于，所述第一预处理包括：降采样，去干扰，降噪。

5.如权利要求1所述的交互系统，其特征在于，所述第二预处理包括：卷积，标准化，非线性处理。

6.如权利要求1所述的交互系统，其特征在于，所述第三预处理包括：平滑，去噪，滤波处理。

7.如权利要求1所述的交互系统，其特征在于，所述第四预处理包括：截取，去除噪声和伪迹，归一化处理。

8.一种应用于如权利要求1－7任一项所述的交互系统的多模态交互方法，其特征在于，包括：

信息采集模块采集脑电信号、肌电信号、唇部图像、眼部图像以及生理参数信息，发送至处理模块；

处理模块对接收到的所述脑电信号、肌电信号、唇部图像、眼部图像以及生理参数信息分别进行预处理，得到多种数据；

处理模块使用机器学习对多种所述数据进行命令识别、语言信息识别以及情绪识别；

处理模块对情绪识别结果进行可靠性评估，发送识别出的命令和/或语言信息至交互模块；

交互模块将命令发送至被操控设备，将语言信息发送至与其相连接的接收设备。