[发明专利]用于确定情绪状态的头戴式耳机信号

说明书

示例非暂时性机器可读介质包括指令，指令可由处理器执行以执行以下操作：从在包括立体显示器的头戴式耳机处的生物特征传感器捕获生物特征信号；从与头戴式耳机相关联的面部运动传感器捕获面部运动信号；基于面部运动信号，确定头戴式耳机的佩戴者的面部运动；基于面部运动将权重施加到生物特征信号以获得加权的生物特征信号；并且使用加权的生物特征信号来确定佩戴者的情绪状态。

背景技术

虚拟现实(VR)、增强现实(AR)、混合现实(MR)和类似技术可以被用于使人们沉浸在计算机辅助体验中。沉浸式计算机辅助体验的示例包括模拟、训练、视频会议和基于位置的娱乐。头戴式耳机可以被用于将视觉信息传达给人，以促进此类体验。

附图说明

图1是用于根据头戴式耳机佩戴者的面部运动和头戴式耳机处的生物特征传感器来确定情绪状态的示例装置的框图。

图2是用于根据头戴式耳机佩戴者的面部运动和头戴式耳机处的生物特征传感器来确定情绪状态的示例头戴式耳机的透视图。

图3是用于根据头戴式耳机佩戴者的嘴唇/下颌运动、肌电图传感器和眼睛传感器来确定情绪状态的示例头戴式耳机的侧面示意图。

图4是用于根据头戴式耳机佩戴者的面部运动和头戴式耳机处的生物特征传感器来确定情绪状态的示例方法的流程图。

图5是用于根据头戴式耳机佩戴者的面部运动和头戴式耳机处的生物特征传感器来确定情绪状态的示例方法的流程图，其中考虑了面部运动的量。

图6是用于根据头戴式耳机佩戴者的面部运动、发声和肌电图来确定情绪状态的示例方法的流程图。

图7是用于根据头戴式耳机佩戴者的面部运动和头戴式耳机处的各种生物特征传感器来确定情绪状态的示例处理网络的示意图。

具体实施方式

在VR、AR、MR或类似体验(为清楚起见，在下文中被称为“扩展现实”或“XR”)期间检测情绪可以用于确定模拟体验或训练体验是否具有预期效果。情绪检测可以帮助确定认知/心理负荷，并且如果认知/心理负荷得到控制，则训练体验或模拟体验的有效性可以提高。例如，在训练体验中，检测到消极情绪(例如，愤怒、悲伤或厌恶)可以指示正在训练的个体负荷过重或未完全理解训练的主题。

XR体验中情绪的传达可能易于出错，这可能导致误解或错误传达。例如，在XR辅助的视频会议中，参与者的情绪表达可能受到所传送的语音的保真度和用户化身的视觉表示的限制。社交线索和细微差别可能丢失，这可能不可预见地改变对话的进程。

摄像头可以被用于在XR体验期间捕获人的面部的图像，并且这样的图像可以被用于检测情绪。然而，XR头戴式耳机可能遮挡人的面部的关键区域，诸如眼睛和眼睛周围的区域。

当人佩戴头戴式耳机时，生物特征传感器可以被用于确定人的情绪状态。肌电图(EMG)传感器可以被提供给头戴式耳机的垫圈。麦克风可以被提供给头戴式耳机以捕获佩戴者的发声，诸如语音。摄像头可以附接到头戴式耳机并且对准佩戴者的嘴唇和下颌区域。眼睛传感器可以被提供给头戴式耳机以追踪佩戴者的瞳孔扩张、眼睛运动或眼睑运动。捕获的传感器信息可以被用于诸如通过使用动作单元(AU)、语音分析、人工神经网络(ANN)或类似物来确定佩戴者的情绪状态。

诸如摄像头或麦克风的运动传感器可以被用于检测头戴式耳机佩戴者的面部的运动。然后，可以使用根据佩戴者面部的运动或缺乏运动而被加权的生物特征传感器数据来确定情绪状态。运动模糊检测可以被使用。例如，包括EMG信号分析的情绪状态确定可以被延迟直到用户停止说话为止，这可以通过用户嘴唇和下颌的图像中的相对低的运动程度来指示。在另一示例中，当确定佩戴者正在发声时，发声可能对情绪状态确定产生更大的影响，这可以通过用户嘴唇和下颌的图像中的相对高的运动程度来指示。在又一示例中，发声信号可以表示降低肌电图信号或嘴唇/下颌图像的价值但增加语音分析的重要性的面部运动。