[发明专利]语义分割模型的训练方法、视频语义分割方法及装置

说明书

本公开提供了一种语义分割模型的训练方法、视频语义分割方法及装置，涉及深度学习和计算机视觉等人工智能技术领域。该方法包括：获取训练样本集，其中，训练样本集中的训练样本包括至少一个样本视频流和样本视频流的像素级标注结果；利用初始语义分割模型对样本视频流中视频帧之间的空时上下文进行建模，得到样本视频流的上下文表征；基于样本视频流的上下文表征和样本视频流的像素级标注结果，计算时序对比损失；基于时序对比损失更新初始语义分割模型的参数，得到训练后的语义分割模型。基于本公开提供的视频语义分割方法提高了视频语义分割的效率和准确性。

技术领域

本公开涉及人工智能技术领域，具体涉及深度学习、计算机视觉等领域，尤其涉及语义分割模型的训练方法、视频语义分割方法及装置。

背景技术

语义分割是计算机视觉领域的一项基本任务，其目的在于为给定图像中的每一个像素预测一个语义标签。随着深度学习的发展，图像语义分割任务取得了很大的突破，特别是全卷积网络的提出，更是进一步提升了图像语义分割的效果。但是，由于视频信息比图像信息多一个时间维度并且存在大量冗余信息，所以，视频语义分割往往更加复杂。

发明内容

本公开提供了一种语义分割模型的训练方法、视频语义分割方法及装置。

根据本公开的第一方面，提供了一种语义分割模型的训练方法，包括：获取训练样本集，其中，训练样本集中的训练样本包括至少一个样本视频流和样本视频流的像素级标注结果；利用初始语义分割模型对样本视频流中视频帧之间的空时上下文进行建模，得到样本视频流的上下文表征；基于样本视频流的上下文表征和样本视频流的像素级标注结果，计算时序对比损失；基于时序对比损失更新初始语义分割模型的参数，得到训练后的语义分割模型。

根据本公开的第二方面，提供了一种视频语义分割方法，包括：获取目标视频流；将目标视频流输入至预先训练的语义分割模型，输出得到目标视频流的语义分割结果，其中，语义分割模型采用如第一方面中任一项所述的方法训练得到。

根据本公开的第三方面，提供了一种语义分割模型的训练装置，包括：第一获取模块，被配置成获取训练样本集，其中，训练样本集中的训练样本包括至少一个样本视频流和样本视频流的像素级标注结果；建模模块，被配置成利用初始语义分割模型对样本视频流中视频帧之间的空时上下文进行建模，得到样本视频流的上下文表征；计算模块，被配置成基于样本视频流的上下文表征和样本视频流的像素级标注结果，计算时序对比损失；更新模块，被配置成基于时序对比损失更新初始语义分割模型的参数，得到训练后的语义分割模型。

根据本公开的第四方面，提供了一种视频语义分割装置，包括：第二获取模块，被配置成获取目标视频流；输出模块，被配置成将目标视频流输入至预先训练的语义分割模型，输出得到目标视频流的语义分割结果，其中，语义分割模型采用如第一方面中任一项所述的方法训练得到。

根据本公开的第五方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如第一方面或第二方面中任一实现方式描述的方法。

根据本公开的第六方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行如第一方面或第二方面中任一实现方式描述的方法。

根据本公开的第七方面，提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现如第一方面或第二方面中任一实现方式描述的方法。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是本公开可以应用于其中的示例性系统架构图；