[发明专利]可变形物体建模方法及装置

说明书

本发明提供了一种可变形物体建模方法及装置，可以应用于人工智能技术领域，该可变形物体建模方法包括：驱动机器人对可变形物体执行抓放动作；驱动图像采集设备执行第一拍摄动作，以获取针对可变形物体的N张侧视位姿图像；利用2D骨架检测网络和位姿状态判断网络，生成N张侧视位姿图像所展现的可变形物体的位姿判断结果；在位姿判断结果为可变形物体处于标准站立状态的情况下，基于对N张侧视位姿图像的处理结果，生成可变形物体的3D骨架模型。

技术领域

本发明涉及人工智能技术领域，具体地涉及一种可变形物体建模方法和装置。

背景技术

可形变物体的建模和操作是计算机视觉、机器人领域的重要问题。可形变物体通常具有无穷多的自由度、复杂的初始状态和严重的自遮挡问题，使得传统计算机视觉方法难以有效地直接对其进行建模。为可形变物体建立描述模型能够引导机器人对其进行精细操作，从而促进以上行业的自动化水平。由于可形变物体独特的生产特性，难以使用严格的数学方程来描述其物理性质。因此，使用基于人工智能的视觉方法来为可形变物体建立描述模型是一种可行的路径。

基于人工智能的视觉方法对可变形物体，如塑料袋进行机器视觉方法建模面临着独特的困难。这是因为可变形物体本身的物理特性限制了大部分视觉方法的直接使用：特定类型的可变形物体，如塑料袋本身常常是半透明且反光的，这使得深度相机无法给出准确的点云信息。同时，可变形物体本身的形变常常非常严重，会导致大量的自遮挡问题。最后，可变形物体本身的形态变化没有规则，难以使用视觉方法捕捉任意情况下的可变形物体完整模型。因此，直接对可变形物体进行视觉建模面临着较大的难度。

发明内容

鉴于上述问题，本发明提供了一种可变形物体建模方法和装置。

本发明的一个方面，提供了一种可变形物体建模方法，包括：

驱动机器人对可变形物体执行抓放动作，其中，执行抓放动作为：抓取可变形物体至预定高度后，松开可变形物体使其自由下落至预定台面；

驱动图像采集设备执行第一拍摄动作，以获取针对可变形物体的N张侧视位姿图像，其中，侧视位姿图像用于表征可变形物体下落至预定平面后在侧视视角下的位姿，N为正整数；

利用2D骨架检测网络和位姿状态判断网络，生成N张侧视位姿图像所展现的可变形物体的位姿判断结果，其中，位姿判断结果用于表征可变形物体是否处于标准站立状态；

在位姿判断结果为可变形物体处于标准站立状态的情况下，基于对N张侧视位姿图像的处理结果，生成可变形物体的3D骨架模型。

根据本发明的实施例，上述方法还包括，在位姿判断结果为可变形物体不处于标准站立状态的情况下：

迭代执行：驱动机器人对可变形物体执行抓放动作、驱动图像采集设备执行第一拍摄动作、利用2D骨架检测网络和位姿状态判断网络，生成可变形物体的位姿判断结果的操作，直至位姿判断结果为可变形物体处于标准站立状态。

根据本发明的实施例，其中，利用2D骨架检测网络和位姿状态判断网络，生成N张侧视位姿图像所展现的可变形物体的位姿判断结果包括：

将N张侧视位姿图像输入2D骨架检测网络，输出针对可变形物体的N组骨架关键点信息，其中，N组骨架关键点信息与N张侧视位姿图像一一对应；

将目标组骨架关键点信息输入位姿状态判断网络，输出可变形物体的位姿判断结果，其中，目标组骨架关键点信息是通过对N组骨架关键点信息进行处理得到的。

根据本发明的实施例，其中，基于对N张侧视位姿图像的处理结果，生成可变形物体的3D骨架模型包括：

基于利用2D骨架检测网络对N张侧视位姿图像处理后输出的N组骨架关键点信息，生成可变形物体的3D骨架模型。