[发明专利]基于计算机视觉的手眼标定方法及装置、存储介质

说明书

本申请涉及人工智能，公开了一种基于计算机视觉的手眼标定方法及装置、存储介质、计算机设备，该方法包括：控制机器人的机械臂在四个自由度的约束条件下在预设范围移动并通过设置在所述机械臂末端的相机采集标定图像，其中，所述机械臂在所述预设范围的移动过程中所述相机对应的相机坐标系Z轴始终穿过预设目标点位置；基于所述标定图像，确定所述预设目标点的坐标，并确定所述相机坐标系下所述预设目标点与所述相机的第一相对变换以及世界坐标系下的预设标定点与所述机械臂末端的第二相对变换；根据所述第一相对变换、所述预设目标点的坐标、所述第二相对变换以及所述预设标定点的坐标，确定所述机械臂末端与所述相机的刚性变换。

技术领域

本申请涉及计算机视觉技术领域，尤其是涉及到一种基于计算机视觉的手眼标定方法及装置、存储介质、计算机设备。

背景技术

目前，医疗电子机械设备的发展对先进治疗技术的发展起到了巨大的帮助，例如医疗机器人。手术机器人除了需要精准的位置、力控制，完善的视觉传感系统，另外一个依赖性很强的技术就是实现精准鲁棒的手眼标定，保证机器人和手术专用相机间的坐标系统关系。在eye-in-hand机械臂设置下(即相机放置在机械臂末端)，手眼标定技术在提供机械臂末端与相机坐标的刚性变换的过程中起着关键的作用。就手眼标定算法本身而言，已经有大量成熟和准确的算法来减少标定误差从而达到稳定的应用效果。但这些算法的前提都要求末端的移动为6个自由度，且需要一定程度的运动范围作为前提，因此在移动自由度数量和移动范围的双重限定下，如何完成标定过程一个值得研究的问题。

结合该问题映射到实际场景中的问题，比如在医疗手术机器人的工作过程中，机械臂末端的自由度会被限制，且移动范围需要限制地非常小，稍有不慎就会影响伤口大小及手术效果，因此，在该过程中实现精准的手眼标定是非常重要的问题。著名的医疗手术机器人—达芬奇手术机器人在该过程中则是引入外部精准的视觉跟踪工具辅助标定过程，因此也不可避免地引入额外的标定误差源，容易造成标定误差。目前在该技术领域，如何对限定移动自由度和限定移动范围的机器人进行精准的手眼标定成为了热点问题。

发明内容

有鉴于此，本申请提供了一种基于计算机视觉的手眼标定方法及装置、存储介质、计算机设备。

根据本申请的一个方面，提供了一种基于计算机视觉的手眼标定方法，包括：

控制Eye-in-hand机器人的机械臂在四个自由度的约束条件下在预设范围移动并通过设置在所述机械臂末端的相机采集标定图像，其中，所述机械臂在所述预设范围的移动过程中所述相机对应的相机坐标系Z轴始终穿过预设目标点的位置；

基于所述标定图像，确定所述预设目标点的坐标，并确定所述相机坐标系下所述预设目标点与所述相机的第一相对变换以及世界坐标系下的预设标定点与所述机械臂末端的第二相对变换；

根据所述第一相对变换、所述预设目标点的坐标、所述第二相对变换以及所述预设标定点的坐标，确定所述机械臂末端与所述相机的刚性变换。

具体地，所述确定所述预设目标点的坐标，具体包括：

基于所述标定图像，确定所述相机坐标系的Z轴对应的辅助点的坐标，其中，所述辅助点为所述相机坐标系的Z轴上任意一点；

按照预设误差项公式以及所述辅助点的坐标，确定所述预设目标点的坐标。

具体地，所述标定图像包括N张，所述预设误差项公式为其中，N大于或等于2，w_i为第i张标定图像对应的惩罚因子，o_ref,i为第i张标定图像对应的所述辅助点的坐标，p_ref,i为第i张标定图像对应的所述预设目标点的坐标，d_ref,i为第i张标定图像对应的所述相机坐标系的Z轴方向向量。

具体地，若所述相机为双目相机，则所述确定所述预设目标点的坐标，具体包括：