[发明专利]一种体素化3D网络voxel-encoder与VFE基于FPGA的实现算法

说明书

本发明涉及3D网络技术领域，具体是一种体素化3D网络voxel‑encoder与VFE基于FPGA的实现算法，本发明专利主要是针对3D目标检测的深度学习网络的数据预处理中voxel‑encoder部分(体素编码)以及vfe部分(特征提取)基于FPGA算法的从0到1的实现,整个过程全流水运算，有效的将CPU耗时的运算淹没至RAM,输入到3D卷积的过程中,极大得提升了点云卷积网络的效率，提高了整体帧率,为后续CNN的3D卷积预留更多的时间。

技术领域

本发明涉及3D网络技术领域，具体是一种体素化3D网络voxel-encoder与VFE基于FPGA的实现算法。

背景技术

随着3d传感器技术发展以及传感器价格的降低，因3d云数数据含有原始的几何信息且没有离散，使得3d点云数据受到越来越多的青睐，而3d激光传感器因检测范围大且精度高等特点在自动驾驶领域被广泛使用。

基于3d激光点云数据，使用深度学习技术进行3d目标检测的使用越来越广泛，目前主要有两种主流的方法：voxel_based方法以及point_based方法，相对point_based方法的精度高但对于点云数据量大的情形下帧率较低的特点，基于voxel_based的方法因处理数据量大的点云效率高而被工业界多为采用，比如SECOND(SparselyEmbeddedConvolutional Detection)。

目前，基于激光点云数据进行3d目标检测的深度学习网络多使用GPU来加速来进行前向推断，比如：使用1080Ti来进行SECOND(small)网络的推断，论文显示每帧0.025s，即40帧/秒，尽管用GPU进行检测推断帧率很高，但GPU的高成本与高功耗的缺点使得它在低成本低功耗的下的应用受到很大限制，而基于FPGA的实现的网络前向推断则在低成本低功耗的场合下表现优异，且帧率亦能满足目前用于自动驾驶的激光雷达数据采集10～20帧/秒之间的处理速度的要求，本专利则是针对数据预处理中voxel-encoder部分(体素编码)以及vfe部分(特征提取)基于FPGA算法的从0到1的实现，同时保证在预处理中将处理速度提升到流水状态，使得这部分不影响整个网络的10～20帧/s的帧率要求。

发明内容

本发明的目的在于提供一种体素化3D网络voxel-encoder与VFE基于FPGA的实现算法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：

一种体素化3D网络voxel-encoder与VFE基于FPGA的实现算法，为说明Voxel-encoder以及vfe在FPGA上的算法实现过程，如下首先会对其在cpu上代码实现算法过程加以说明，以作为参照，接着，会对其在FPGA上的实现算法加以描述，所述Voxel-encoder以及vfe算法在cpu上代码实现过程包括：

(1)输入数据和中间数据如下：

(2)算法实现细节:

步骤1：初始化一个K×T×4维张量(命名为voxels)，值为全0：用于存储所有的体素输入特征；

一个K×3维张量(命名为coors)，值为全0：用于存储所有的体素格的坐标；

一个K维张量(命名为num_points_per_voxel)，值为全0：用于存储每个体素格采样点数；

一个40×800×1104(grid_size)的张量(命名为coor_to_voxelidx)，值为全-1：用于指示是否是有效体素；

K是非空体素的最大数目，T是每个体素的最大采样点数，4是每个点的输入特征维数；

步骤2：对于点云中的每个点(eg点坐标(x1,y1,z1,r1))，我们检查对应的体素是否已经存在；