[发明专利]一种基于PYNQ的双目摄像机三维分拣系统及方法

权利要求书

1.一种基于PYNQ的双目摄像机三维分拣系统，其特征在于，包括：双目摄像机、分拣机械臂、显示器、PYNQ核心板和工控上位机；

其中，所述PYNQ核心板包含PL模块和PS模块；所述PL模块内设置有景深测量硬件加速算法模块、AXIDMA控制器、AXI总线互联模块、Video IP和机械臂姿态控制模块；所述PS模块内设置有cv2模块、定位算法模块、分拣机械臂控制逻辑模块、分拣机械臂驱动程序、MMIO组件和Video组件；

所述双目摄像机的信号输出端与所述景深测量硬件加速算法模块的信号输入端电连接，所述景深测量硬件加速算法模块的信号输出端与AXIDMA控制器的信号输入端电连接；所述AXIDMA控制器的信号输出端与cv2模块的信号输入端电连接；

所述cv2模块的第一信号输出端与Video组件的信号输入端电连接，Video组件的信号输出端与Video IP的第一信号输入端电连接，Video IP的信号输出端与显示器电连接；

所述cv2模块的第二信号输出端与定位算法模块的信号输入端电连接，所述定位算法模块的信号输出端与分拣机械臂控制逻辑模块的的第一信号输入端电连接，所述分拣机械臂控制逻辑模块的信号输出端与分拣机械臂驱动程序的信号输入端电连接；

所述分拣机械臂驱动程序的信号输出端与MMIO组件的信号输入端电连接，所述MMIO组件的信号输出端与AXI总线互联模块的信号输入端电连接，AXI总线互联模块的第一信号输出端与Video IP的第二信号输入端电连接；

所述AXI总线互联模块的第二信号输出端与分拣机械臂控制逻辑模块的信号输入端电连接，所述分拣机械臂控制逻辑模块的信号输出端与分拣机械臂的信号输入端电连接；

所述工控上位机的信号输出端与分拣机械臂控制逻辑模块的的第二信号输入端通过无线网连接。

2.根据权利要求1所述的基于PYNQ的双目摄像机三维分拣系统，其特征在于，所述双目摄像机的信号输出端通过USB接口与所述景深测量硬件加速算法模块的信号输入端电连接。

3.根据权利要求1所述的基于PYNQ的双目摄像机三维分拣系统，其特征在于，所述双目摄像机用于采集待分拣物体的图像原始信息，并将采集的图像原始信息传递给景深测量硬件加速算法模块；所述图像原始信息包含待分拣物体的颜色信息；

所述景深测量硬件加速算法模块用于对采集的图像原始信息进行预处理，得到景深图像信息，并将景深图像信息通过AXIDMA控制器依次传输至cv2模块和定位算法模块；

所述定位算法模块对景深图像信息进行处理并识别出待分拣物体对应的三维坐标信息，三维坐标信息包含横向、纵向与景深向的三维坐标，并将识别到的待分拣物体的三维坐标信息标注回双目摄像机采集的原始图像中，使用Video组件传输至Video IP，Video IP将标注有被识别的待分拣物体的三维坐标信息的图像通过显示器显示；同时，定位算法模块将待分拣物体的三维坐标信息传递给分拣机械臂控制逻辑模块；

所述工控上位机用于生成物体分拣控制信息，所述工控上位机通过无线网将物体分拣控制信息传递给分拣机械臂控制逻辑模块；

所述分拣机械臂控制逻辑模块根据物体分拣控制信息、待分拣物体的三维坐标信息和待分拣物体的颜色信息生成机械臂控制指令信息，并根据机械臂控制指令信息调用分拣机械臂驱动程序向AXI总线互联模块发送机械臂控制指令信息；

AXI总线互联模块将机械臂控制指令信息传递给机械臂姿态控制模块，机械臂姿态控制模块生成多路脉冲宽度调制信号，多路脉冲宽度调制信号分别传输至分拣机械臂的控制端，控制分拣机械臂抓取待分拣物体并放置于指定物品分拣区域内。