[发明专利]基于球面特征的鱼眼图像特征处理方法、系统及电子设备

权利要求书

1.一种基于球面特征的鱼眼图像特征处理方法，其特征在于，包括：

提取鱼眼图像中的多尺度特征得到多尺度特征图；

将所述多尺度特征图输入至经训练的鱼眼图像特征处理模型中，得到所述鱼眼图像特征处理模型输出的所述鱼眼图像的融合特征图，其中所述鱼眼图像特征处理模型用于从所述多尺度特征图提取平面特征和球面特征，并基于空间自注意力机制提取含有球域信息的平面特征，并将含有球域信息的平面特征与所述球面特征进行融合以得到所述融合特征图。

2.根据权利要求1所述的基于球面特征的鱼眼图像特征处理方法，其特征在于，所述鱼眼图像特征处理模型包括特征图提取层、特征图优化层和特征图融合层；

其中，所述特征图提取层用于提取所述多尺度特征图中的平面特征和球面特征；

所述特征图优化层用于基于空间自注意力机制提取含有球域信息的平面特征；以及

所述特征图融合层用于将含有所述球域信息的平面特征与和所述球面特征融合得到融合特征图。

3.根据权利要求1所述的基于球面特征的鱼眼图像特征处理方法，其特征在于，所述基于空间自注意力机制提取含有球域信息的平面特征包括：使用所述球面特征指导所述平面特征关注到所述鱼眼图像中相应的失真位置信息。

4.根据权利要求1所述的基于球面特征的鱼眼图像特征处理方法，其特征在于，所述提取所述多尺度特征图中的平面特征和球面特征包括：

提取所述多尺度特征中的中间层进行球面卷积，同时利用路径增强和上采样分别将所述球面特征传递到其它层以共享信息。

5.根据权利要求1所述的基于球面特征的鱼眼图像特征处理方法，其特征在于，所述方法还包括：通过上下文感受模块对输出的所述融合特征图进行卷积运算，得到特征增强的融合特征图，

其中，所述通过上下文感受模块对输出的所述融合特征图进行卷积运算包括：采用了小卷积核、多分支结构进行不同尺度的卷积运算，通过不同的感受野增强多个卷积层内的上下文信息的提取能力，并采用空间通道可分离的卷积分解方式，分别在频域和空间域执行卷积运算。

6.根据权利要求1所述的基于球面特征的鱼眼图像特征处理方法，其特征在于，所述方法还包括：基于特征增强的所述融合特征图，通过回归头网络和分类头网络进行人脸检测，

其中，所述通过回归头网络和分类头网络进行人脸检测包括：

通过所述回归头网络，确定所述融合特征图的坐标；

通过所述分类头网络，确定所述融合特征图的类别；以及

基于所述坐标和所述类别，进行所述人脸检测。

7.根据权利要求2所述的基于球面特征的鱼眼图像特征处理方法，其特征在于，所述鱼眼图像的投影方式包括等矩形投影ERP、立方体投影CMP和条带投影SSP。

8.一种基于球面特征的鱼眼图像特征处理系统，其特征在于，

多尺度特征获取模块，用于提取所述鱼眼图像中的多尺度特征得到多尺度特征图；

鱼眼图像特征处理模块，用于将所述多尺度特征图输入至经训练的鱼眼图像特征处理模型中，得到所述鱼眼图像特征处理模型输出的所述鱼眼图像的融合特征图，其中所述鱼眼图像特征处理模型用于从所述多尺度特征图提取平面特征和球面特征，并基于空间自注意力机制提取含有球域信息的平面特征，并将含有球域信息的平面特征与所述球面特征进行融合以得到所述融合特征图。

9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7任一项所述的基于球面特征的鱼眼图像特征处理方法的步骤。

10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7任一项所述的基于球面特征的鱼眼图像特征处理方法的步骤。