[发明专利]基于在线图案分割的手柄追踪方法

说明书

本发明提供一种基于在线图案分割的手柄追踪方法，包括对所采集的每一帧附有图案的手柄控制器的图像数据建立图像金字塔，并进行筛选统计，获取粘连区域的面积大小及粘连区域对应的外接矩形的长宽比，以作为离线数据参数输入图像分割算法；当手柄控制器实时工作时，采用图像分割算法对附有图案的手柄控制器的实时图像进行图像分割；再对分割后的图像数据进行PNP解算，以确定手柄控制器的位置和姿态信息，完成手柄追踪，从而避免产生手柄控制器的位置和姿态信息计算偏差，进而防止手柄追踪结果偏差严重或产生追踪丢失，避免漂移现象的产生，提高用户体验。

技术领域

本发明涉及计算机视觉领域，更为具体地，涉及一种基于在线图案分割的手柄追踪方法。

背景技术

目前在VR/AR/MR领域，基于单摄像头捕获手柄控制器在三维空间的位置和姿态信息时，一般通过给手柄控制器的外围设计一种特殊图案，通过计算机图像处理跟踪技术实时检测和追踪手柄上的特殊图案在摄像头成像上的位置，进而通过手柄控制器上的特殊图案的特征规则，然后获取手柄控制器的图案上的每一个关键点和图像上对应的位置，再通过PNP算法(Pespective-n-point)求解出手柄控制器相对摄像头的位置和姿态信息。

但在实际追踪手柄控制器的过程中，手柄上图案的多个位置信息和摄像头极易保持同一个入射角度，或当手柄距离摄像头比较近的时候，手柄上的图案标记物块在图像上的信息极易发生重合或粘连，若重合和粘连情况持续发生，则严重影响手柄图案在图像上的分割精度，从而手柄控制器的位置和姿态信息会有计算偏差，进而导致手柄追踪结果偏差严重或产生追踪丢失，严重影响用户体验。

传统的解决方法为通过判断当前图像上的图案的面积，灰度值等信息来判断图案有重合或者粘连，若有发生重合或粘连，则会将图案的图像信息丢弃掉，如此，剩余的图像信息块若不能足够准确的计算出当前手柄控制相对摄像头的位置和姿态信息，则会通过惯性导航单元传感器等其他方式预测出当前手柄控制器的位置和姿态信息，但是如果连续长时间帧的预测，手柄的位置和姿态信息就会产生漂移，严重影响用户体验。

因此，亟需一种无需丢弃重合或粘连的图案数据，能够将重合或粘连的图案数据进行分割，从而避免漂移现象产生，提高用户体验感的基于在线图案分割的手柄追踪方法。

发明内容

鉴于上述问题，本发明的目的是提供一种基于在线图案分割的手柄追踪方法，以解决现有方法通过判断当前图像上的图案的面积，灰度值等信息来判断手柄追踪器上的图案是否有重合或者粘连，若有发生重合或粘连，则将图案的图像信息丢弃掉，如此，剩余的图像信息块若不能足够准确的计算出当前手柄控制相对摄像头的位置和姿态信息，则会通过惯性导航单元传感器等其他方式预测出当前手柄控制器的位置和姿态信息，但是如果连续长时间帧的预测，手柄的位置和姿态信息就会产生漂移，严重影响用户体验的问题。

本发明提供的一种基于在线图案分割的手柄追踪方法，其特征在于，包括：

分别对所采集的每一帧附有图案的手柄控制器的图像数据建立图像金字塔；

对所述图像金字塔进行筛选统计，以获取所述图像数据中所述图案的粘连区域的面积大小及粘连区域对应的外接矩形的长宽比，作为图像分割算法的离线数据参数；

采用所述图像分割算法对所获取的附有图案的手柄控制器的实时图像进行图像分割；

对分割后的图像数据进行PNP解算，以确定所述手柄控制器的位置和姿态信息，完成手柄追踪。

优选地，所述图案为贴在所述手柄控制器上的特定图案。

优选地，所述图像数据为至少100张在预设范围内拍摄的手柄控制器的图像；

所述预设范围为距离摄像头5cm-100cm。

优选地，在对所采集的每一帧附有图案的手柄控制器的图像数据建立图像金字塔的过程中，