[发明专利]可变形物体建模方法及装置

权利要求书

1.一种可变形物体建模方法，包括：

驱动机器人对可变形物体执行抓放动作，其中，执行所述抓放动作为：抓取所述可变形物体至预定高度后，松开所述可变形物体使其自由下落至预定台面；

驱动图像采集设备执行第一拍摄动作，以获取针对所述可变形物体的N张侧视位姿图像，其中，所述侧视位姿图像用于表征所述可变形物体下落至所述预定平面后在侧视视角下的位姿，所述N为正整数；

利用2D骨架检测网络和位姿状态判断网络，生成所述N张侧视位姿图像所展现的所述可变形物体的位姿判断结果，其中，所述位姿判断结果用于表征所述可变形物体是否处于标准站立状态；

在所述位姿判断结果为所述可变形物体处于标准站立状态的情况下，基于对所述N张侧视位姿图像的处理结果，生成所述可变形物体的3D骨架模型。

2.根据权利要求1所述的方法，还包括，在所述位姿判断结果为所述可变形物体不处于标准站立状态的情况下：

迭代执行：驱动机器人对可变形物体执行所述抓放动作、驱动图像采集设备执行所述第一拍摄动作、利用所述2D骨架检测网络和所述位姿状态判断网络，生成所述可变形物体的位姿判断结果的操作，直至所述位姿判断结果为所述可变形物体处于标准站立状态。

3.根据权利要求1所述的方法，其中，利用2D骨架检测网络和位姿状态判断网络，生成所述N张侧视位姿图像所展现的所述可变形物体的位姿判断结果包括：

将所述N张侧视位姿图像输入所述2D骨架检测网络，输出针对所述可变形物体的N组骨架关键点信息，其中，所述N组骨架关键点信息与所述N张侧视位姿图像一一对应；

将目标组骨架关键点信息输入所述位姿状态判断网络，输出所述可变形物体的位姿判断结果，其中，所述目标组骨架关键点信息是通过对所述N组骨架关键点信息进行处理得到的。

4.根据权利要求3所述的方法，其中，基于对所述N张侧视位姿图像的处理结果，生成所述可变形物体的3D骨架模型包括：

基于利用所述2D骨架检测网络对所述N张侧视位姿图像处理后输出的所述N组骨架关键点信息，生成所述可变形物体的3D骨架模型。

5.根据权利要求4所述的方法，基于所述N组骨架关键点信息，生成所述可变形物体的3D骨架模型包括：

利用预设算法对所述N组骨架关键点信息进行信息融合，生成所述可变形物体的3D骨架模型。

6.根据权利要求5所述的方法，其中，利用预设算法对所述N组骨架关键点信息进行信息融合包括：

利用三角测量算法对所述N组骨架关键点信息进行信息融合。

7.根据权利要求3所述的方法，其中，各组所述骨架关键点信息包括多个骨架关键点的坐标值，通过对所述N组骨架关键点信息进行处理得到所述目标组骨架关键点信息包括：

计算所述N组骨架关键点信息中的多个骨架关键点的坐标均值，作为多个骨架关键点的目标坐标值，以生成所述目标组骨架关键点信息。

8.根据权利要求1所述的方法，其中，驱动机器人对可变形物体执行抓放动作包括：

生成所述可变形物体上的至少一个抓取点在机器人坐标系中对应的目标水平坐标值；

确定机器人的目标抓取深度；

基于所述目标水平坐标值和所述目标抓取深度，引导所述机器人对可变形物体执行抓放动作。

9.根据权利要求8所述的方法，其中，生成所述可变形物体上的至少一个抓取点在机器人坐标系中对应的目标水平坐标值包括：

驱动所述图像采集设备执行第二拍摄动作，以获取针对所述可变形物体的俯视位姿图像，其中，所述俯视位姿图像用于表征所述可变形物体在被抓取前置于所述预定台面时在俯视视角下的位姿；

利用抓取点识别网络输出所述俯视位姿图像对应的抓取点热力图；

基于所述抓取点热力图，生成所述至少一个抓取点在机器人坐标系中对应的目标水平坐标值。