[发明专利]地理与视觉跨模态预训练模型的训练方法、位置确定方法

权利要求书

1.一种地理与视觉跨模态预训练模型的训练方法，包括：

基于地图数据构建预训练数据集；

根据所述预训练数据集和预训练目标，对待训练模型进行模型训练，得到多视觉任务约束的第一预训练模型；

其中，所述根据预训练数据集和预训练目标，对待训练模型进行模型训练，得到多视觉任务约束的第一预训练模型，包括：

将从预训练数据集获取的预处理结果进行图像特征和地理位置编码特征的多次融合处理，得到第二特征；

将所述第二特征输入多视觉任务学习框架中，得到用于表征所述多视觉任务学习框架预训练目标的总损失函数；

根据所述总损失函数对所述待训练模型进行所述模型训练，得到所述第一预训练模型。

2.根据权利要求1所述的方法，其中，所述基于地图数据构建预训练数据集，包括：

所述地图数据为历史地图数据的情况下，从所述历史地图数据中筛选出满足第一条件的第三图像信息及与所述第三图像信息对应的第三地理位置信息；

对所述第三图像信息和所述第三地理位置信息进行预处理，得到用于表征图像特征和地理位置编码特征的预处理结果；

根据所述预处理结果，构建所述预训练数据集。

3.根据权利要求2所述的方法，其中，所述第一条件包括：在历史采集次数超过N次的覆盖区域所得到的所述历史地图数据中携带深度图信息；所述N为大于2的正整数。

4.根据权利要求2所述的方法，其中，所述对所述第三图像信息和所述第三地理位置信息进行预处理，得到用于表征图像特征和地理位置编码特征的预处理结果，包括：

对所述第三图像信息进行图像预处理，得到与众包数据分辨率相同的第四图像信息；

对所述第三地理位置信息进行编码预处理，得到第四图像位置编码信息；

对所述第四图像信息进行划分预处理，得到所述第四图像信息中各个图像块；

对所述第四图像信息中各个图像块进行编码预处理，得到所述第四图像信息中各个图像块位置编码信息；

将所述第四图像信息、所述第四图像位置编码信息、所述第四图像信息中各个图像块位置编码信息作为所述预处理结果。

5.根据权利要求2-4中任一项所述的方法，其中，所述根据所述预训练数据集和预训练目标，对待训练模型进行模型训练，得到多视觉任务约束的第一预训练模型，包括：

将从所述预训练数据集获取的所述预处理结果输入所述待训练模型，对所述预处理结果进行所述图像特征和所述地理位置编码特征的第一融合处理，得到第一融合数据；

对所述第一融合数据进行特征提取，得到第一特征；

将所述第一特征和所述地理位置编码特征进行第二融合处理，得到第二特征；

将所述第二特征输入多视觉任务学习框架中，得到用于表征所述多视觉任务学习框架预训练目标的总损失函数；

根据所述总损失函数对所述待训练模型进行所述模型训练，得到所述第一预训练模型。

6.根据权利要求5所述的方法，其中，所述将所述第二特征输入多视觉任务学习框架中，得到用于表征所述多视觉任务学习框架预训练目标的总损失函数，包括：

根据所述多视觉任务学习框架中第一任务对应的第一损失函数、所述多视觉任务学习框架中第二任务对应的第二损失函数、及所述多视觉任务学习框架中第三任务对应的第三损失函数，得到所述总损失函数。