[发明专利]目标处理方法、目标处理模型的训练方法及其装置

说明书

本申请提出了目标处理方法、目标处理模型的训练方法及其装置，涉及人工智能技术领域，具体涉及计算机视觉、深度学习技术领域，可应用于智能交通场景下。具体实现方案为：获取当前图像帧以及参考实例分割图；根据当前图像帧和参考实例分割图，生成当前图像帧对应的特征图；根据特征图，生成当前图像帧对应的实例中心图、以及至少一种处理方式的偏移图；根据实例中心图以及至少一种处理方式的偏移图，生成当前图像帧在至少一种处理方式下的目标处理结果。由此，实现了目标的实时处理，并生成了至少一种处理方式下的目标处理结果，提升了目标处理效果。

技术领域

本申请涉及人工智能技术领域，具体涉及计算机视觉、深度学习技术领域，可应用于智能交通场景下，尤其涉及目标处理方法、目标处理模型的训练方法及其装置。

背景技术

目前，对目标进行处理(比如，目标跟踪)是计算机视觉领域中重要的研究方向和应用方法。目标处理是在给定视频中同时可对多个感兴趣的目标进行定位，维持对应ID、以及记录对应轨迹等。目前，目标处理技术已经广泛运用于生活以及军事等多个方面。

相关技术中，通过简单预测前后图像帧间实例之间的像素偏移，即可完成目标处理，但是，上述目标处理方法无法达到目标实时处理，并且处理方式单一，目标处理效果较差。

发明内容

本申请提供了一种用于目标处理方法、目标处理模型的训练方法及其装置。

根据本申请的一方面，提供了一种目标处理方法，包括：获取当前图像帧以及参考实例分割图；根据所述当前图像帧和所述参考实例分割图，生成所述当前图像帧对应的特征图；根据所述特征图，生成所述当前图像帧对应的实例中心图、以及至少一种处理方式的偏移图；根据所述实例中心图以及所述至少一种处理方式的偏移图，生成所述当前图像帧在所述至少一种处理方式下的目标处理结果。

根据本申请的另一方面，提供了一种目标处理模型的训练方法，包括：获取初始的目标处理模型，其中，所述目标处理模型包括：用于对当前图像帧以及参考实例分割图进行编码生成特征图的编码模块、用于对特征图进行解码生成实例中心图的语义解码模块、用于对特征图进行解码生成偏移图并结合所述实例中心图生成目标处理结果的偏移解码模块；获取训练数据，其中，所述训练数据包括：样本图像帧、样本参考实例分割图以及样本目标处理结果；以所述样本图像帧和所述样本参考实例分割图为输入数据，结合所述目标处理模型输出的预测目标处理结果以及所述样本目标处理结果构建损失函数，对所述初始的目标处理模型进行训练。

根据本申请的另一方面，提供了一种目标处理装置，包括：获取模块，用于获取当前图像帧以及参考实例分割图；第一生成模块，用于根据所述当前图像帧和所述参考实例分割图，生成所述当前图像帧对应的特征图；第二生成模块，用于根据所述特征图，生成所述当前图像帧对应的实例中心图、以及至少一种处理方式的偏移图；第三生成模块，用于根据所述实例中心图以及所述至少一种处理方式的偏移图，生成所述当前图像帧在所述至少一种处理方式下的目标处理结果。

根据本申请的另一方面，提供了一种目标处理模型的训练装置，包括：第一获取模块，用于获取初始的目标处理模型，其中，所述目标处理模型包括：用于对当前图像帧以及参考实例分割图进行编码生成特征图的编码模块、用于对特征图进行解码生成实例中心图的语义解码模块、用于对特征图进行解码生成偏移图并结合所述实例中心图生成目标处理结果的偏移解码模块；第二获取模块，用于获取训练数据，其中，所述训练数据包括：样本图像帧、样本参考实例分割图以及样本目标处理结果；训练模块，用于以所述样本图像帧和所述样本参考实例分割图为输入数据，结合所述目标处理模型输出的预测目标处理结果以及所述样本目标处理结果构建损失函数，对所述初始的目标处理模型进行训练。

根据本申请的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述所述的目标处理方法，或者，执行上述所述的目标处理模型的训练方法。