[发明专利]基于高真实感虚拟化身的人与机器人交互仿真装置及方法

说明书

本发明公开一种基于高真实感虚拟化身的人与机器人交互仿真装置及方法，该装置包括两套均由多个相机组成的多视角相机系统、虚拟化身预处理模块、深度相机、带摄像头的虚拟现实头显、虚拟化身重建模块和机器人仿真模块。本发明用户通过佩戴虚拟现实头显在虚拟场景中以第一视角观察虚拟机器人，并控制高真实感虚拟化身与虚拟机器人实现非语言交互，为机器人开发提供了有效的通过仿真验证机器人交互能力的方法，缩短了机器人开发的周期。

技术领域

本发明涉及机器人仿真领域，尤其涉及一种基于高真实感虚拟化身的人与机器人交互仿真装置及方法。

背景技术

机器人系统仿真在机器人的设计过程中非常重要，可以进行快速的算法验证，从而缩短迭代周期。人与机器人交互是与人机合作型机器人譬如服务机器人的关键功能。这类机器人的仿真系统需要模拟用户与机器人之间多种模态的交互过程，以验证机器人交互算法的有效性。人与机器人的常用交互方式包括语言交互和非语言交互。其中语言交互的仿真相对简单，而非语言交互则包括凝视、表情、肢体动作、和手势等多项内容，其仿真相对复杂。为了实现对非语言交互的仿真，面向人与机器人交互的仿真系统一般允许用户通过控制虚拟场景中的虚拟化身与虚拟机器人交互。但人工控制虚拟化身多个维度的非语言交互行为并不容易。较新的仿真系统一般具有通过捕捉用户外观及动作自动生成虚拟化身交互行为的功能。为了使人与机器人交互仿真有效，基于捕捉的虚拟化身在仿真运行时需要与用户保持高度一致，在虚拟场景中完整呈现用户的非语言交互信号。

目前使用虚拟化身的机器人仿真系统往往对用户外观及动作的细节重现不够充分，普遍存在虚拟化身不够逼真的问题。譬如常用的方法是通过捕获用户动作来驱动蒙皮动画模型，得到的虚拟化身在几何和外观上与用户都不能完全一致。此外，在这类仿真系统里，用户可以通过佩戴虚拟现实头显以虚拟化身的第一视角观察机器人的交互反馈。使用虚拟现实头显带来的沉浸感对交互算法的仿真验证非常有帮助，但佩戴头显造成的脸部遮挡给捕捉用户凝视和面部表情等交互信号带来极大的困难，使得虚拟化身无法准确再现用户脸部相关细节。上述问题都导致虚拟化身再现用户的非语言交互信号不完整，使得机器人交互算法仿真验证的有效性受限。

发明内容

本发明的目的在于针对现有技术的不足，提供一种基于高真实感虚拟化身的人与机器人交互仿真装置及方法。

本发明的目的是通过以下技术方案来实现的：

一种基于高真实感虚拟化身的人与机器人交互仿真装置，该装置包括：

两套均由多个相机组成的多视角相机系统，其中一套环绕用户布置，另一套绕用户半球形布置，用于在虚拟化身预处理阶段拍摄用户全身及局部视频；

虚拟化身预处理模块，用于输入两套所述的多视角相机系统拍摄的视频，输出包含多个子模型的用户虚拟化身模板；

深度相机，置于用户前方，用于拍摄用户全身深度图像；

带摄像头的虚拟现实头显，所述的头显中的摄像头用于拍摄用户的局部人脸图像，所述的头显中的显示屏用于输出虚拟场景的绘制；

虚拟化身重建模块，用于输入所述的用户全身深度图像、局部人脸图像和虚拟化身模板，输出高真实感虚拟化身；

机器人仿真模块，用于输入所述的高真实感虚拟化身，识别非语言交互信号，生成虚拟机器人交互反馈，输出虚拟机器人的绘制。

一种基于高真实感虚拟化身的人与机器人交互仿真方法，该方法基于仿真装置来实现，其包括以下步骤：

步骤一：在虚拟化身预处理阶段，使用两套多视角相机系统拍摄用户视频，虚拟化身预处理模块根据输入的使用多视角相机系统拍摄的用户视频，生成包含多个子模型的用户虚拟化身模板；