[发明专利]一种基于非接触式情绪识别的人机交互方法

权利要求书

1.一种基于非接触式情绪识别的人机交互方法，其特征在于，所述人机交互方法实施在用户与虚拟环境构建系统之间，所述虚拟环境构建系统配置有力反馈器、非接触式检测装置以及运动检测装置，所述虚拟环境构建系统中预设有若干虚拟场景，针对各虚拟场景，预设对应的参考运动轨迹，用户接触力反馈器，并在各虚拟场景中依据参考运动轨迹进行肢体运动，所述人机交互方法包括：

步骤1，利用非接触式检测装置获取用户的生理信号特征和非生理信号特征，并依据生理信号特征和非生理信号特征识别用户的情绪状态；

所述依据生理信号特征和非生理信号特征识别用户的情绪状态，具体包括以下步骤：

a、基于生理信号特征建立第一情绪模型，基于非生理信号特征建立第二情绪模型；

b、识别的生理信号特征依据第一情绪模型生成第一情绪状态概率分布，识别的非生理信号特征依据第二情绪模型生成第二情绪状态概率分布；

c、依据第一情绪模型和第二情绪模型生成综合情绪模型，将第一情绪状态概率分布和第二情绪状态概率分布输入综合情绪模型，得到情绪状态概率分布，输出概率最大值β对应的情绪状态作为识别结果；

步骤2，在单个虚拟场景进行时，虚拟环境构建系统依据用户的情绪状态调整力反馈器的反馈力大小；

在单个虚拟场景完成时，依据肢体实时运动轨迹与参考运动轨迹的差异，调整下一次交互时该虚拟场景的参考运动轨迹。

2.如权利要求1所述的基于非接触式情绪识别的人机交互方法，所述生理信号特征包括心率特征和呼吸特征，所述非生理信号特征包括表情特征。

3.如权利要求1所述的基于非接触式情绪识别的人机交互方法，其特征在于，所述非接触式检测装置包括视频采集装置和雷达。

4.如权利要求2所述的基于非接触式情绪识别的人机交互方法，其特征在于，所述心率特征和表情特征从视频信号中提取，所述呼吸特征从雷达信号中提取。

5.如权利要求4所述的基于非接触式情绪识别的人机交互方法，其特征在于，利用欧拉影像放大算法从视频信息中提取心率特征。

6.如权利要求1所述的基于非接触式情绪识别的人机交互方法，其特征在于，在某一虚拟场景中，若情绪识别的结果为愉悦，则力反馈值增加的取值为：式中，f₁为原力反馈值，β为综合情绪模型输出的概率最大值，α₁为常数；

若情绪识别的结果为厌烦，则力反馈值减小的取值为：式中，f₂为原力反馈值，β为综合情绪模型输出的概率最大值，α₂为常数。

7.如权利要求1所述的基于非接触式情绪识别的人机交互方法，其特征在于，所述虚拟场景包括：虚拟目标物跟踪场景和虚拟握拳跟踪场景：

在虚拟目标物跟踪场景中，预设目标物的参考运动轨迹，若参考运动轨迹为最大幅度为A₀，频率为f₀的正弦曲线，实际运动轨迹的幅度为A_k,1≤k≤n，n为虚拟场景的持续时间，k为时刻，在预定时间段内，若实际运动轨迹与参考运动轨迹的幅度差异累计大于K₁＝A₀×f₀×γ₁，其中γ₁为常数，则调整参考运动轨迹为最大幅度频率f1的正弦曲线，式中，μ1为实际运动轨迹的幅度均值，f1为实际运动轨迹的功率谱密度最大值；

在虚拟握拳跟踪场景中，参考运动轨迹为虚拟手的关节角度固定变化且最大幅度为A₂的锯齿波曲线，实际运动轨迹的幅度为B_k,1≤k≤n，n为虚拟场景的持续时间，k为时刻，在预定时间段内，若实际运动轨迹与参考运动轨迹的幅度差异累计大于K₂＝A₂×f₂×γ₂，γ₂为常数，则调整虚拟手关节角度变化的参考运动轨迹为最大幅度频率f3的锯齿波曲线，式中，μ2为实际运动轨迹的幅度均值，f3为实际运动轨迹的功率谱密度最大值。