[发明专利]基于人工智能的图像场景识别方法、装置及电子设备

权利要求书

1.一种基于人工智能的图像场景识别方法，其特征在于，所述方法包括：

通过场景识别模型确定图像样本属于预标记类别的预测联合概率；

通过图像识别模型确定所述图像样本属于所述预标记类别的预测全局概率；

通过注意力定位模型预测所述图像样本的至少一个样本局部区域，以确定每个所述样本局部区域中图像内容属于所述预标记类别的预测定位概率；

将所述预测联合概率、所述预测定位概率、所述预测全局概率以及所述预标记类别代入整体损失函数，以确定所述整体损失函数取得最小值时所述场景识别模型、所述图像识别模型以及所述注意力定位模型的参数；

其中，所述场景识别模型、所述图像识别模型以及所述注意力定位模型共享特征提取网络，所述场景识别模型与所述注意力定位模型共享注意力网络；

通过所述特征提取网络获取图像的全局特征；

通过所述特征提取网络提取所述图像中背景的全局卷积特征，对所述全局卷积特征进行池化处理，得到所述图像的全局池化特征，对所述全局池化特征进行多个层次的残差处理；

通过所述注意力网络对所述残差处理得到的特征提取结果进行局部区域预测处理，得到至少一个所述局部区域；

通过所述特征提取网络获取每个所述局部区域的局部特征，并通过所述场景识别模型的融合网络对至少一个所述局部特征以及所述全局特征进行融合处理，得到所述图像中背景的融合特征；

通过所述场景识别模型的联合全连接层对所述图像进行基于所述融合特征的场景分类处理，得到所述图像所属的场景。

2.根据权利要求1所述的方法，其特征在于，所述通过所述特征提取网络获取图像的全局特征，包括：

通过所述特征提取网络执行以下处理：

提取所述图像的全局卷积特征；

对所述全局卷积特征进行池化处理，得到所述图像的全局池化特征；

对所述全局池化特征进行多个层次的残差处理，并对所述残差处理得到的特征提取结果进行池化处理，得到所述图像的全局特征。

3.根据权利要求2所述的方法，其特征在于，

所述对所述全局池化特征进行多个层次的残差处理，并对所述残差处理得到的特征提取结果进行池化处理，包括：

通过N个级联的残差网络中的第n残差网络，对所述第n残差网络的输入进行特征提取处理；

将所述第n残差网络输出的第n特征提取结果传输到第n+1残差网络以继续进行特征提取处理；

其中，N为大于或等于2的整数，n为取值从1开始递增的整数，且n的取值范围满足1≤n≤N-1；当n取值为1时，所述第n残差网络的输入为所述图像的全局池化特征，当n取值为2≤n≤N-1时，所述第n残差网络的输入为第n-1残差网络的特征提取结果；

当n取值为N-1时，对所述第n+1残差网络的输出的特征提取结果进行最大池化处理。

4.根据权利要求3所述的方法，其特征在于，

所述通过N个级联的残差网络中的第n残差网络，对所述第n残差网络的输入进行特征提取处理，包括：

对第n-1残差网络的输出以及所述第n-1残差网络的输入进行融合处理，得到融合处理结果；

对所述融合处理结果进行激活处理，通过所述第n残差网络的卷积层对激活处理结果进行多尺寸的卷积处理。

5.根据权利要求1所述的方法，其特征在于，所述通过所述注意力网络对所述残差处理得到的特征提取结果进行局部区域预测处理，得到至少一个所述局部区域，包括：

通过所述注意力网络执行以下处理：

对所述特征提取结果进行下采样处理，对下采样处理结果进行注意力强度预测处理，得到所述下采样处理结果中每个空间坐标的注意力强度；

对每个所述空间坐标进行回溯处理，得到对应每个所述空间坐标的候选区域；

基于多个所述候选区域的注意力强度，对多个所述候选区域进行非极大值抑制处理，得到至少一个所述局部区域。