[发明专利]图像处理和人群密度估计方法、设备及存储介质

权利要求书

1.一种图像处理方法，其特征在于，包括：

获取待处理图像；

对所述待处理图像进行主体密度估计，以得到所述待处理图像的第一密度图；

对所述待处理图像进行主体识别，以确定所述待处理图像的主体区域；

基于所述待处理图像的主体区域，对所述第一密度图进行滤波，以得到所述待处理图像的第二密度图。

2.根据权利要求1所述的方法，其特征在于，所述对所述待处理图像进行主体识别，以确定所述待处理图像的主体区域，包括：

将所述待处理图像输入骨干网络进行特征提取，以得到所述待处理图像的初始图像特征；

利用第一分支网络，对所述初始图像特征进行主体识别，以得到所述待处理图像的主体区域。

3.根据权利要求2所述的方法，其特征在于，所述利用第一分支网络，对所述初始图像特征进行主体识别，以得到所述待处理图像的主体区域，包括：

将所述初始图像特征输入第一分支网络；

在所述第一分支网络中，对所述初始图像特征进行卷积处理，以得到所述待处理图像的第一目标特征；其中，所述第一目标特征是所述待处理图像为主体或背景的特征体现；

根据所述第一目标特征，获取所述待处理图像中属于主体的像素点；

根据所述待处理图像中属于主体的像素点，确定所述待处理图像的主体区域。

4.根据权利要求3所述的方法，其特征在于，所述根据所述第一目标特征，获取所述待处理图像中属于主体的像素点，包括：

根据所述第一目标特征，计算所述待处理图像中的像素点属于主体和背景的概率；

针对任一像素点，若该像素点属于主体的概率大于其属于背景的概率，则确定该像素点属于主体。

5.根据权利要求2所述的方法，其特征在于，所述对所述待处理图像进行主体密度估计，以得到所述待处理图像的第一密度图，包括：

利用第二分支网络，对所述初始图像特征进行主体密度估计，以得到所述第一密度图。

6.根据权利要求5所述的方法，其特征在于，所述利用第二分支网络，对所述初始图像特征进行主体密度估计，以得到所述第一密度图，包括：

将所述初始图像特征输入所述第二分支网络；

在所述第二分支网络中，对所述初始图像特征进行卷积处理，以得到所述待处理图像的第二目标特征；其中，所述第二目标特征是所述待处理图像的主体密度的特征体现；

根据所述第二目标特征，生成所述第一密度图。

7.根据权利要求6所述的方法，其特征在于，所述基于所述待处理图像的主体区域，对所述第一密度图进行滤波，以得到所述待处理图像的第二密度图，包括：

在所述第一分支网络中，基于所述待处理图像的主体区域，生成所述待处理图像的蒙版；所述待处理图像的蒙版中标注为1的区域与所述主体区域相对应；

将所述蒙版与所述第一密度图相乘，得到所述第二密度图。

8.根据权利要求7所述的方法，其特征在于，在基于所述待处理图像的主体区域，生成所述待处理图像的蒙版之前，还包括：

以联合损失函数最小化为训练目标，利用样本图像对初始网络模型进行联合训练，以得到所述骨干网络、第一分支网络和第二分支网络；其中，所述初始网络模型包括：初始特征提取网络、初始分割分支网络和初始密度估计分支网络；

其中，所述联合损失函数是根据模型训练输出的蒙版与所述样本图像的蒙版真值图所确定的交叉熵函数，及模型训练输出的密度图和模型训练输出的蒙版的乘积与所述样本图像的密度真值图所确定均方差函数联合确定的。

9.根据权利要求8所述的方法，其特征在于，还包括：

获取所述样本图像的视度图；

利用激励函数对所述样本图像的视度图进行尺度变换，以确定所述样本图像的主体区域；

基于所述样本图像的主体区域，生成所述蒙版真值图。