[发明专利]网络训练与图像处理方法、装置、设备和存储介质

权利要求书

1.一种神经网络训练方法，包括：

利用偏移量提取网络，获得与多种预设角度分别对应的偏移量；所述偏移量指示样本图像中屋顶与底座之间的偏移量；所述样本图像包括第一偏移量真实信息；所述多种预设角度用于旋转样本图像或所述样本图像对应的图像特征；

将所述第一偏移量真实信息分别旋转所述多种预设角度，得到与所述多种预设角度分别对应的第二偏移量真实信息；

利用与所述多种预设角度分别对应的第二偏移量真实信息和获得的偏移量，调整所述偏移量提取网络的网络参数。

2.根据权利要求1所述的方法，所述利用偏移量提取网络，获得与多种预设角度分别对应的偏移量，包括：

利用偏移量提取网络，将所述样本图像对应的第一图像特征分别旋转多种预设角度，得到与所述多种预设角度分别对应的第二图像特征；

基于所述第二图像特征，得到与所述多种预设角度分别对应的偏移量。

3.根据权利要求2所述的方法，所述利用偏移量提取网络，将所述样本图像对应的第一图像特征分别旋转多种预设角度，得到与所述多种预设角度分别对应的第二图像特征，包括：

针对所述多种预设角度中的每一角度，利用所述偏移量提取网络包括的与所述角度对应的空间变换网络，将所述第一图像特征旋转所述角度，得到与所述角度对应的第二图像特征。

4.根据权利要求3所述的方法，所述空间变换网络包括基于插值方式进行图像旋转的采样器；其中，所述采样器包括基于所述空间变换网络对应的预设角度确定的采样网格；所述采样网格表征第一图像特征与第二图像特征之间的像素点对应关系；

利用所述空间变换网络将所述第一图像特征旋转预设角度，得到与所述预设角度对应的第二图像特征，包括：

通过所述采样器，利用所述采样网格，确定所述第一图像特征中，与第二图像特征中各像素点分别对应的多个像素点，并基于插值方式对所述多个像素点的像素值进行映射，得到第二图像特征中各像素点分别对应的像素值。

5.根据权利要求1-4任一所述的方法，所述利用与所述多种预设角度分别对应的第二偏移量真实信息和获得的偏移量，调整所述偏移量提取网络的网络参数，包括：

根据与所述多种预设角度分别对应的第二偏移量真实信息和获得的偏移量，得到与所述多种预设角度分别对应的偏移量损失信息；

基于与所述多种预设角度分别对应的偏移量损失信息之和，调整所述偏移量提取网络的网络参数。

6.根据权利要求1-5任一所述的方法，所述样本图像还包括屋顶区域真实信息；所述方法还包括：

利用屋顶区域提取网络，获得所述图像样本中的屋顶区域；其中，所述屋顶区域提取网络与所述偏移量提取网络共享特征提取网络，并且属于同一底座区域提取网络；所述底座区域提取网络用于基于获得的屋顶区域与偏移量得到底座区域；

基于所述屋顶区域真实信息以及获得的屋顶区域，对所述屋顶区域提取网络进行训练。

7.根据权利要求6所述的方法，所述底座区域提取网络包括建筑物边框提取网络，所述建筑物边框提取网络包括所述特征提取网络，所述样本图像还包括建筑物边框真实信息；所述方法还包括：

利用所述建筑物边框提取网络，获得所述图像样本中的建筑物边框；

基于所述建筑物边框真实信息以及获得的建筑物边框，对所述建筑物边框提取网络进行训练。

8.根据权利要求1-7任一所述的方法，用于训练所述偏移量提取网络的训练样本集的生成方法包括：

获取图像集；所述图像集包括与多个区域分别对应的样本图像；其中，在相同区域对应多帧样本图像的情况下，存在至少两帧对应于所述相同区域的目标图像具有不同的采集角度；

对所述多个区域中每个区域分别对应的至少一帧目标样本图像进行底座区域真值信息标注；

针对每个区域，将所述区域对应的目标样本图像所标注的底座区域真值信息，确定为所述区域对应的各帧采集图像的底座区域真值信息，得到训练样本集以基于所述训练样本集训练所述偏移量提取网络。