[发明专利]一种基于PYNQ框架的异构视觉目标跟踪系统及方法

权利要求书

1.一种基于PYNQ框架的异构视觉目标跟踪系统，其特征在于，所述系统包括设置在PS上的目标跟踪主控模块和设置在PL上的特征提取运算加速模块；PS和PL之间采用AXI接口和DMA通道实现控制流与数据流的交互通路；

所述目标跟踪主控模块，用于系统初始化配置、视频图像序列载入，对所述特征提取运算加速模块的调用与通信、响应图的显示和目标位置的输出；

所述特征提取运算加速模块，用于对目标进行特征提取，然后将特征图在频域内与目标模型进行互相关计算，进而计算最大响应，通过数据交互通路将计算结果回传至所述目标跟踪主控模块。

2.根据权利要求1所述的基于PYNQ框架的异构视觉目标跟踪系统，其特征在于，所述目标跟踪主控模块的具体实现过程为：

进行系统初始化配置，设定相关参数，载入视频图像序列以及第一帧目标位置，建立高斯回归标签，通过汉宁窗去除边界效应；

加载深度卷积网络预训练模型VGG-Net-19，将视频图像序列输入所述特征提取运算加速模块，提取多层深度卷积特征；

若为第一帧，频域进行核自相关计算，进而得到岭回归分类参数，进行快速训练，同时对目标模型进行更新；

若为后续帧，根据前一帧目标区域提取图像区域特征，然后将特征在频域内与目标模型进行互相关计算，进而在频域内计算最大响应；

根据所述特征提取运算加速模块返回的运算结果，通过傅里叶反变换求出当前帧相对于前一帧目标的位移，输出目标位置；

根据训练结果，计算三个置信度评估指标，根据结果判断是否有遮挡，如有遮挡，将当前模板备份，对目标位置进行自适应更新，对目标模型进行更新。

3.根据权利要求2所述的基于PYNQ框架的异构视觉目标跟踪系统，其特征在于，所述特征提取运算加速模块包括：一个控制单元、一组输入缓冲区、一组输出缓冲区、一组特征图缓冲区以及一组由多个处理单元构成的运算阵列；

所述控制单元，用于从外部获取指令并对其进行解码、计算前配置、记录、分发正确的信息以及运算过程各单元的信息交互；

所述输入缓冲区包括：图像缓冲、权值缓冲和偏置缓冲，用于将从外部存储器中载入的图像、权值、偏置数据缓存到片上再送至运算阵列中；

所述输出缓冲区，用于将中间结果和最终运算结果传输保存到外部存储器中，供PS访问获取；

所述特征图缓冲区，用于缓存若干行图像数据；

所述运算阵列，用于实现卷积运算。

4.根据权利要求3所述的基于PYNQ框架的异构视觉目标跟踪系统，其特征在于，所述控制单元包括：核心配置子单元、权重地址配置子单元、偏置地址配置子单元、特征图地址配置子单元；

所述核心配置子单元，用于控制权重地址配置子单元、偏置地址配置子单元、特征图地址配置子单元之间的协同工作；

所述权重地址配置子单元，用于向所述特征提取运算加速模块发送、存储所需权重数据存放地址；

所述偏置地址配置子单元，用于向所述特征提取运算加速模块发送、存储所需偏置数据存放地址；

所述特征图地址配置子单元，用于向所述特征提取运算加速模块发送、存储所需特征图中间计算数据存放地址。

5.根据权利要求3所述的基于PYNQ框架的异构视觉目标跟踪系统，其特征在于，所述运算阵列由8×8个并行运算的处理单元组成，每个处理单元完成尺寸为3×3的卷积运算。

6.根据权利要求5所述的基于PYNQ框架的异构视觉目标跟踪系统，其特征在于，所述处理单元包括：卷积计算器组、加法器树、非线性子单元和最大池化子单元；

所述卷积计算器组，用于进行多个并行卷积计算；

所述加法器树，用于对所有的卷积结果进行求和；

所述非线性子单元，用于将非线性激活函数应用于输入数据流；

所述最大池化子单元，使用行缓冲区相同结构，用于以特定窗口输入数据流并输出最大值。

7.一种基于PYNQ框架的异构视觉目标跟踪方法，基于权利要求1-6之一所述的系统实现，所述方法包括以下步骤：

所述PS使用Python调用Overlay函数完成PL的比特流动态加载与配置；

所述PS使用Python调用Xlnk函数，进行片外存储器DDR4中物理地址连续的空间锁定、图像数据、权值参数存储操作；

所述目标跟踪主控模块进行系统初始化配置，载入视频图像序列，调用所述特征提取运算加速模块；

所述特征提取运算加速模块对载入的视频图像序列进行特征提取，然后将特征图在频域内与目标模型进行互相关计算，进而计算最大响应，通过数据交互通路将计算结果回传至所述目标跟踪主控模块；

所述目标跟踪主控模块根据计算结果，通过最大响应计算出目标当前位置。