[发明专利]一种基于投影AR的自适应遮挡消除方法

权利要求书

1.一种基于投影AR的自适应遮挡消除方法，其特征在于，包括以下步骤：

步骤1：构建紧固件AR引导装配系统，包括用于场景状态感知的图像采集客户端、用于AR可视化显示的投影客户端以及用于多投影画面定位的虚实注册客户端；

建立紧固件三维模型，根据工艺信息建立紧固件引导安装可视化方案，将工艺信息以视频和图案形式叠加到待安装孔位，给工人以安装指导；

步骤2：建立紧固件AR引导装配系统三个客户端之间的数据传输通信架构，各客户端之间通过TCP网络协议的Socket通信进行数据传输；

步骤3：启动Basler工业相机和投影仪，通过张正友标定法对Basler工业相机和投影仪进行联合标定；求解相机的内、外参数，并计算投影仪的内外参数，实现虚拟坐标系、相机坐标系与投影坐标系的统一；

步骤4：在待装配区域摆放四个基于椭圆特征的人工标识码，通过相机-投影仪联合标定技术，对多投影画面进行定位和对齐处理，并实现虚实注册功能；

步骤5：建立紧固件AR引导装配系统投影交互菜单与Unity场景中菜单之间的坐标联系，主投影仪投影出不同紧固件型号的投影交互菜单，操作人员通过手指点击交互菜单，系统做出响应并投影出相应型号紧固件的工艺信息，操作人员按照引导信息进行紧固件安装；

步骤6：Basler工业相机对装配场景进行实时场景监控；用户通过设置ROI兴趣区域选定需要监控的场景范围，以提高系统响应速度和检测精度；Basler工业相机一方面对用户是否点击交互菜单进行监控，另一方面实时判断投影信息是否被遮挡，并对遮挡目标进行实时追踪、定位；

步骤7：如果场景中出现遮挡目标，系统根据遮挡目标及投影面上阴影区域坐标信息，通过图像处理技术将被遮挡引导信息图像分割提取出来；系统通过对遮挡目标和阴影区域的检测追踪，自主选出未被遮挡的补充投影仪从另一角度进行补充投影，对引导信息进行补偿，实现遮挡的自适应消除；

步骤8：由于遮挡物在投影面上产生的阴影存在，补充投影后的图像在亮度上低于其它未被遮挡区域，系统对被投影图像进行光度补偿处理；

系统已知阴影区域的像素坐标，通过图像处理来调整阴影区域图像的对比度和亮度，使得投影画面在亮度和色彩上保持一致；

步骤9：装配操作人员按照引导信息，依次点击不同投影交互菜单，逐步完成紧固件的安装。