[发明专利]通过数据融合产生脸部表情的方法、装置及头戴式显示器

说明书

本发明公开了一种通过数据融合产生脸部表情的方法、系统及头戴式显示器，所述方法包括：从复数个数据来源取得一用户的一脸部数据，其中所述复数个数据来源包含一实时侦测数据及一预设数据；映射所述脸部数据至复数个脸部表情参数，用来模拟所述用户的一脸部几何模型；根据所述复数个脸部表情参数，进行一融合运算操作，用来产生对应并具有权重关系的所述复数个脸部表情参数的复数个融合参数；以及根据所述复数个融合参数，产生一模拟用户的脸部表情。

技术领域

本发明涉及在虚拟实境/扩增实境/混合实境/延展实境系统中通过数据融合产生脸部表情的方法及相关装置。

背景技术

大部分的虚拟实境/扩增实境/混合实境/延展实境系统可在房间大小的区域内，依据用户穿载的用户接口装置，来追踪用户的动作行为。用户接口装置(如游戏手把、控制器、触控面板等)用来提供用户与系统软件之间的互动，举例来说，系统软件包含有运算装置执行的虚拟实境游戏。此外，用户穿载的头戴式显示器(head-mounted display，HMD)用来显示运算装置产生的互动影像，能让用户体验虚拟实境。

为了增加用户对虚拟实境沉浸的意愿，现有技术提出了具有脸部表情(例如中立、快乐、愤怒、惊讶和悲伤)的模拟用户(avatar)，即虚拟实境环境中的用户代表，以实时地表现出用户的真实感受，进而增加社交沟通效果。然而，模拟用户的面部表达受限于头戴式显示器，因而造成用户与模拟用户的面部表情无法同步。传统脸部表情的表现方式是通过外部相机拍摄佩戴头戴式显示器的用户的脸部，以收集一时间序列的图像，并从中提取面部特征以识别面部表情，但这种方式会因为用户佩戴头戴式显示器，造成用户大部分的脸部被遮盖，并且他/她的肌肉运动也受到限制，因而使得在虚拟实境系统中，利用外部相机来实现面部识别会变得困难。

发明内容

因此，本发明的主要目的即在于提供一种通过数据融合产生脸部表情的方法、装置及头戴式显示器，以解决上述问题。

本发明公开了一种通过数据融合产生脸部表情的方法，包括：从复数个数据来源取得一用户的一脸部数据，其中所述复数个数据来源包含一实时侦测数据及一预设数据；映射所述脸部数据至复数个脸部表情参数，用来模拟所述用户的一脸部几何模型；根据所述复数个脸部表情参数，进行一融合运算操作，用来产生对应并具有权重关系的所述复数个脸部表情参数的复数个融合参数；以及根据所述复数个融合参数，产生一模拟用户的脸部表情。

本发明另提供了一种头戴式显示器，用于通过数据融合产生一模拟用户的脸部表情，所述头戴式显示器包括：一处理单元，用来执行一程序码；一存储单元，连接于所述处理单元，用来存储所述程序码；复数个追踪单元，连接于所述处理单元，用来从复数个数据来源收集一用户的脸部数据，其中所述复数个数据来源包含一实时侦测数据及一预设数据；所述程序码指示所述处理单元以在所述处理单元或一云端执行以下所有步骤，或者，在所述处理单元执行一部分以下步骤而在所述云端执行另一部分以下步骤：从所述复数个追踪单元取得所述脸部数据；映射所述脸部数据至复数个脸部表情参数，用来模拟所述用户的一脸部几何模型；根据所述复数个脸部表情参数，进行一融合运算操作，用来产生对应并具有权重关系的所述复数个脸部表情参数的复数个融合参数；以及根据所述复数个融合参数，产生模拟所述用户的脸部表情。