[发明专利]一种基于投影AR的自适应遮挡消除方法

说明书

本发明公开了一种基于投影AR的自适应遮挡消除方法，该方法通过相机‑投影仪协同工作来对装配场景实时状态感知，对投影光路中的遮挡目标和被遮挡投影信息进行实时检测、追踪和定位，通过多台投影仪协同工作对被遮挡信息进行实时补偿。本发明可以提高遮挡目标检测算法的通用性，针对遮挡目标是否移动分别判断，提高遮挡目标检测的效率和精度。

技术领域

本发明属于增强现实技术领域，具体涉及一种自适应遮挡消除方法。

背景技术

在航空航天领域，飞机产品具有结构复杂、零部件种类及数量多、精度要求高等特点，传统手工装配难度大、效率低，同时对工人的综合素养要求高。

随着增强现实技术(Augment Reality,AR)开始应用于各种机械装配场景。使用AR技术可以将虚拟信息叠加到现实场景中，所建立的虚拟环境可以提供更集中、更全面的装配信息。而基于AR技术的辅助装配系统可以对装配所需的大量信息进行统一、集中的管理，大大缩短装配前置时间，减少资源浪费并降低成本。将虚拟环境和真实环境相匹配并融合，对工作人员而言，拓展了信息获取的渠道和范围，加强了对重要信息的感知能力，同时也降低了对工作人员视觉空间能力的要求；对装配工作而言，可以大大减少装配误差的产生、缩短装配时间、提高装配效率和装配质量。

而基于投影的AR技术作为AR可视化方式之一，在其实现过程中操作者无需穿戴任何设备，因此也就不会对操作者产生任何束缚；另外投影AR将实物、虚物、互动环境融为一体，因此投影AR的互动形式更加自然也更加多样；最后，随着投影仪数量和位置的变化，投影AR可以近乎无限的扩大其显示范围。基于以上这些优点，投影AR技术被广泛应用于航空航天等复杂产品辅助装配领域中。

但是，基于投影显示的空间增强现实技术(Projector-based AugmentedReality,PBAR)往往伴随着移动性不足的缺点。由于投影仪位置的相对固定，在进行辅助装配引导过程中，操作者的手部、待装配机械零件等实体往往会出现对引导信息的遮挡问题。目前针对投影遮挡问题的研究尚少且都存在严重不足。

由国内外研究现状可知，目前，针对投影AR中的投影遮挡问题，国内外一致通过多投影的方法来消除阴影。即在识别并检测出被遮挡区域后，通过另一台投影仪从另一角度投影对被遮挡区域进行补充投影。目前，国内外学者的研究重点主要集中在对遮挡物和阴影区域的检测、识别和定位上，针对多投影协同工作研究尚浅，尚存在以下不足：

1)对遮挡物和阴影区域的识别检测方法不够精确，大部分是针对人体遮挡建立骨骼模型，不具有一般性和通用性；遮挡物与遮挡阴影区域没有建立直接联系，需要在深度相机识别遮挡物的基础上，通过空间信息变换映射出投影面上阴影区域。

2)补充投影的投影画面与主投影仪投影画面未做定位对齐处理，因此补充投影画面在空间位置上可能存在错乱、在投影效果上可能出现重影等视觉干扰。

3)补充投影的投影画面未经处理，需要在补充投影前将投影画面进行分割处理，仅对被遮挡信息进行补偿，否则未被遮挡的投影画面会因为多台投影仪的重投影带来视觉上的不适性。

发明内容

为了克服现有技术的不足，本发明提供了一种基于投影AR的自适应遮挡消除方法，该方法通过相机-投影仪协同工作来对装配场景实时状态感知，对投影光路中的遮挡目标和被遮挡投影信息进行实时检测、追踪和定位，通过多台投影仪协同工作对被遮挡信息进行实时补偿。本发明可以提高遮挡目标检测算法的通用性，针对遮挡目标是否移动分别判断，提高遮挡目标检测的效率和精度。

本发明解决其技术问题所采用的技术方案如下：

步骤1：构建紧固件AR引导装配系统，包括用于场景状态感知的图像采集客户端、用于AR可视化显示的投影客户端以及用于多投影画面定位的虚实注册客户端；

建立紧固件三维模型，根据工艺信息建立紧固件引导安装可视化方案，将工艺信息以视频和图案形式叠加到待安装孔位，给工人以安装指导；