[发明专利]一种基于PYNQ的双目摄像机三维分拣系统及方法

说明书

本发明属于自动化分拣技术领域，公开了一种基于PYNQ的双目摄像机三维分拣系统及方法，该分拣系统使用PYNQ作为基础开发平台，结合双目摄像机、景深测量硬件加速算法模块与机械臂姿态控制模块，在实际测试环境中，可以准确、有效的进行物体识别、定位，并正确的实现分拣功能，且进行硬件加速后，景深图像计算速率可达12帧/秒，且测距精度可达毫米级；其三维分拣方法中，采用双目摄像机和景深测量硬件加速算法模块可以实时定位目标的三维坐标信息，且具有功耗低、成本低、高集成度与高适用性的优势，能够提升物品分拣系统的集成度，降低系统成本与复杂度。

技术领域

本发明涉及自动化分拣技术领域，具体涉及一种基于PYNQ的双目摄像机三维分拣系统及方法。

背景技术

自动分拣机是先进配送中心必须拥有的设备，该设备有较高的分拣效率。好的自动分拣机是提高物流配送效率的一项关键因素，而提高分拣设备的分拣效率与适用场景将会有效的提升配送中心的配送效率。

目前，主流的自动分拣控制系统存在集成度较低，信息处理系统往往由多个数字芯片组成，一方面增加了分拣系统的成本与功耗；另一方面降低了分拣系统的可靠性。并且，传统的传送带分拣系统中，只采用单个摄像头对物体进行二维平面内的定位，获取物体水平与垂直方向的二维坐标，这种系统只能在摄像头与单一传送带位置相对固定的场景完成工作，每次修改摄像头与传送带相对位置均要对系统重新进行校准。对于多层传送带结构只能采用多个分拣机械臂与摄像头结构，增大了系统的复杂度与搭建成本。

近年来，集成电路技术与机器视觉理论发展迅速，成为推动社会生产力发展的动力。机器视觉在物流网、自动化分拣系统与自动化仓储系统均发挥了重要的作用。随着集成电路的发展，使得更多复杂控制系统与机器视觉算法可以在单一数字芯片中实现。这些技术使得在单一数字芯片系统中实现目标双目距离测定与分拣控制系统成为可能，并具有低成本，高集成度与准确率高等优良性能。

发明内容

针对现有技术中存在的问题，本发明的目的在于提供一种基于PYNQ的双目摄像机三维分拣系统及方法，该分拣系统使用PYNQ作为基础开发平台，结合双目摄像机、景深测量硬件加速算法模块与机械臂姿态控制模块，在实际测试环境中，可以准确、有效的进行物体识别、定位，并正确的实现分拣功能，且进行硬件加速后，景深图像计算速率可达12帧/秒，且测距精度可达毫米级；其三维分拣方法中，采用双目摄像机和景深测量硬件加速算法模块可以实时定位目标的三维坐标信息，且具有功耗低、成本低、高集成度与高适用性的优势，能够提升物品分拣系统的集成度，降低系统成本与复杂度。

(一)一种基于PYNQ的双目摄像机三维分拣系统，包括：双目摄像机、分拣机械臂、显示器、PYNQ核心板和工控上位机；

其中，所述PYNQ核心板包含PL模块和PS模块；所述PL模块内设置有景深测量硬件加速算法模块、AXI DMA控制器、AXI总线互联模块、Video IP和机械臂姿态控制模块；所述PS模块内设置有cv2模块、定位算法模块、分拣机械臂控制逻辑模块、分拣机械臂驱动程序、MMIO组件和Video组件；

所述双目摄像机的信号输出端与所述景深测量硬件加速算法模块的信号输入端电连接，所述景深测量硬件加速算法模块的信号输出端与AXI DMA控制器的信号输入端电连接；所述AXI DMA控制器的信号输出端与cv2模块的信号输入端电连接；

所述cv2模块的第一信号输出端与Video组件的信号输入端电连接，Video组件的信号输出端与Video IP的第一信号输入端电连接，Video IP的信号输出端与显示器电连接；

所述cv2模块的第二信号输出端与定位算法模块的信号输入端电连接，所述定位算法模块的信号输出端与分拣机械臂控制逻辑模块的的第一信号输入端电连接，所述分拣机械臂控制逻辑模块的信号输出端与分拣机械臂驱动程序的信号输入端电连接；