[发明专利]一种基于三维点云与图像数据融合的药盒检测方法及其检测系统

权利要求书

1.一种基于三维点云与图像数据融合的药盒检测方法，具体步骤如下：

步骤一：将相机采集的药盒图像输入到U型全卷积神经网络中，提取药盒特征图像；

步骤二：用分组残差卷积模块提取初步特征图像，空洞空间卷积池化金字塔模块对提取初步特征图像不同尺度的特征图信息，通过混合注意力模块对不同尺度的特征图信息进行融合，得到二维融合特征图，通过上采样得到分割后的药盒图像；

步骤三：将步骤二得到的药盒图像与步骤一种的药盒特征图像比对，是否满足检测要求，若满足检测要求，即可开始对药盒进行检测；

步骤四：若不满足检测要求，通过二维目标检测网络定位图像中的目标，并根据相机几何成像模型得到二维检测框对应的锥体点云；采用PointNet点云网络与特征融合网络层对锥体点云进行实例分割，得到所有的目标点；利用T-Net网络估计目标质心并将目标点云移至质心坐标系，然后通过参数估计网络以及特征融合网络层得到三维包围箱参数的估计，最终获取药盒的大小及朝向，判断药盒种类，并结合图像信息识别药盒文字，进而达到检测要求。

2.根据权利要求1所述的基于三维点云与图像数据融合的药盒检测方法，其特征在于，所述分组残差卷积模块在ResNet结构基础上引入独立路径的数量获取。

3.根据权利要求1所述的基于三维点云与图像数据融合的药盒检测方法，其特征在于，采用可分离卷积，使用3个3×3×1卷积核代替3×3×3的单个过滤器，每个核与输入层的一个通道卷积。

4.根据权利要求1所述的基于三维点云与图像数据融合的药盒检测方法，其特征在于，所述空洞空间卷积池化金字塔模块包含空洞率分别为 6、12、18、24 的空洞卷积。

5.根据权利要求1所述的基于三维点云与图像数据融合的药盒检测方法，其特征在于，所述混合注意力模块包含了空间注意力模块以及通道注意力模块。

6.根据权利要求1所述的基于三维点云与图像数据融合的药盒检测方法，其特征在于，所述特征融合网络层将图像特征、三维实例分割模块和三维包围箱估计模块中的点云特征进行融合。

7.根据权利要求1所述的基于三维点云与图像数据融合的药盒检测方法，其特征在于，所述PointNet点云网络中，提取点云特征的多层感知机中的1×1卷积核替换为3×3卷积核。

8.一种基于三维点云与图像数据融合的药盒检测的检测系统，其特征在于：包括二维图像分割、三维点云分割，所述二维图像分割采用U型全卷积神经网络，U型全卷积神经网络包含分组残差卷积模块、空洞空间卷积池化金字塔模块和混合注意力模块。