[发明专利]一种虚拟装配装置、系统及方法

摘要

本发明属于虚拟装配过程中的人机交互技术领域，具体的说是一种虚拟装配装置、系统及方法。该装置包括Kinect V2人机交互设备、Unity 3D虚拟环境构建设备、VR眼镜和力与触觉反馈设备；Kinect V2人机交互设备包括Kinect V2；Unity 3D虚拟环境构建设备包括两个摄像机和计算机；摄像机、Kinect V2人机交互设备和力与触觉反馈设备和计算机相连；VR眼镜分别与Kinect V2人机交互设备和计算机相连。本发明是一种虚拟装配装置、系统及方法，利用Kinect V2设备捕捉人体的双眼，将Unity 3D虚拟环境中的摄像头与之绑定，从而使用户通过查看虚拟环境。并按照1：1设计零部件和装配环境，通过骨骼识别模块反求虚拟环境中的现实位置，从而实现虚拟与现实的同步，完成高沉浸的虚拟装配。

主权项

1.一种虚拟装配装置，其特征在于，该装置包括Kinect V2人机交互设备、Unity 3D虚拟环境构建设备、VR眼镜和力与触觉反馈设备；所述的Kinect V2人机交互设备，用于数据采集及数据整合及数据驱动；所述的Unity 3D虚拟环境构建设备，用于构建人机交互虚拟装配环境，整合CATIA设计的零件结构、Sketch Up设计的建筑和3D MAX设计的人物模型；所述的VR眼镜，用于增强虚拟环境的沉浸性；所述的力与触觉反馈设备，用于使用者双手接触虚拟零件时提供力的作用和真实触觉；所述的Kinect V2人机交互设备包括Kinect V2；所述的Unity 3D虚拟环境构建设备包括两个摄像机和计算机，所述的摄像机绑定在使用者的双眼中间位置；所述的摄像机、Kinect V2人机交互设备和力与触觉反馈设备和计算机相连；所述的VR眼镜分别与Kinect V2人机交互设备和计算机相连；所述的Kinect V2人机交互设备包括骨骼识别模块、面孔识别模块、以及语音识别模块；骨骼识别模块，用于获取人体的25个部位骨骼点数据，对人体的动作进行实时捕捉，并能计算出身高、抓取和放置零件的动作是否完成；面孔识别模块，用于提取人脸的特征点；语音识别模块：用于获取Kinect V2人机交互设备记录的语音信息，生成语音文本字符串，记录在语音命令链表中，并通过与数据库模板比较，从而控制虚拟装配环境变换，窗口变换；所述的Unity 3D虚拟环境构建设备包括装配模块、建筑模块、虚拟人物匹配模块；装配模块：用于将CATIA设计出的所有零件，组合出装配图，再通过KEYSHOT渲染得到最后产品；建筑模块：用于将Sketch Up按照1:1设计出装配环境并渲染，再倒入Unity 3D虚拟环境构建设备中，再将装配模型置于建筑模型中，并绑定语音指令；虚拟人物匹配模块：将之前测量的身高与身高最近似的人物模型进行匹配，建立人物模型数据库，并将Kinect V2人机交互设备采集的25个骨骼点与模型进行绑定。