[发明专利]一种基于握姿图像的杆类物体的运动姿态测量系统

说明书

本发明公布了一种基于握姿图像的杆类物体的运动姿态测量系统，由握姿矫正器M0，握姿图像数据采集模块M1，运动姿态估计模块M2组成；M0表面有预设的手指凹槽，凹槽的位置和形状与手握杆类物体时规范握姿匹配；M1负责拍摄采集N个视角的握姿图像数据Hi(i＝1，2…，N)，并通过手骨识别提取方法得到手部L个关节点的二维坐标，形成手部关节点图像坐标矩阵Q；M2负责通过预测模型R，通过Q估计得到杆类物体待测点的运动姿态S*。本发明提出的基于握姿图像的杆类物体的运动姿态测量系统具有成本低、非接触、适用场景广泛等优点，此外还可以实现光学视场遮挡条件下的杆类物体运动姿态的实时和准确测量。

技术领域

本发明涉及一种运动姿态测量系统，具体涉及一种基于握姿图像的杆类物体的运动姿态测量系统。

背景技术

杆类物体包含笔杆，手术器械，球杆等手持类物体。近些年来，机器学习技术和虚拟现实技术的飞速发展使得越来越多的生活、学习和工作场景的数字化和智能化成为了可能。特别是在医疗卫生领域，外科手术器械实时运动轨迹的采集和获取将有助于手术操作能力的定量评价，手术操作过程的重现和分析，并有可能大大促进虚拟手术教学和机器人外科手术的发展。

传统的杆类物体的运动姿态测量的原理是将外部电磁或光学标记物固定在杆类物体上，然后利用专门的跟踪系统估算实时姿态和位置。这类方法通常对采集环境有较高的要求(例如，无电磁干扰，无光学遮挡等)，且存在采集设备昂贵，安装和固定标记物困难的问题。此外，在临床手术中，还需要对手术器械上的标记物进行消毒灭菌处理，这在一定程度上增加手术费用成本和提高手术准备流程的复杂度。近年来，基于视觉图像的运动姿态测量方法具有非接触、方便适用、成本低的优点，受到了人们广泛的关注。然而，基于双目视觉原理的运动姿态测量策略任存在不少局限性，例如：受光照和遮挡的影响非常大，稳定性和精度欠佳。

因此如何实现一种用于杆类物体的精度高、稳定性好、非接触的运动姿态测量系统具有明确现实意义。

发明内容

针对上述问题以及现有技术的不足，本发明公开了一种基于握姿图像的杆类物体的运动姿态测量系统。

为了实现上述目的，本发明采用的具体方案如下：

所述的基于握姿图像的杆类物体的运动姿态测量系统由握姿矫正器M0；握姿图像数据采集模块M1，运动姿态估计模块M2组成。

所述的握姿矫正器M0为硅胶类或橡胶类软套表面有预设的手指凹槽，凹槽的位置和形状与手握杆类物体时规范握姿匹配；将M0套在杆类物体的表面上，并与之贴合。握姿矫正器M0有助于规范操作者手握杆类时的握姿，使得手与杆类物体在运动时保持相对静止。

所述的握姿图像数据采集模块M1，目的为了获取不同视角的握姿图像，用于三维运动姿态的测量。握姿图像数据采集模块M1由环形架和N个不同视角的摄像头组成，摄像头均匀放置在环形架上；图像数据Hi(i＝1，2，…，N)为第i个摄像头拍摄的握势姿态图像。M1负责拍摄采集N个视角的握姿图像数据Hi(i＝1，2…，N)，并通过手骨识别提取方法得到手部L个关节点的二维坐标，形成手部关节点图像坐标矩阵Q。

所述的运动姿态估计模块M2负责通过预测模型R，通过Q估计得到杆类物体待测点的运动姿态S*；其中，S*为杆类物体待测点在三维空间V内实时的空间位置和旋转角度。

所述的预测模型R，其特征在于，预测模型R的训练步骤为：

1)在t时刻，从图像数据Hi(i＝1，2，…，N)中通过手骨识别提取方法，提取出L个手部关节点的二维坐标，进而形成手部关节点图像坐标矩阵Qt，其中Qt的大小为N×L×2；

2)利用高精度三维空间定位方法采集获得当前t时刻杆类物体待测点的运动姿态St；

3)重复1)和2)K次，将得到的Qj和Sj(j＝1，2，…，K)作为训练样本集；