[发明专利]语义分割模型的训练方法、视频语义分割方法及装置

权利要求书

1.一种语义分割模型的训练方法，包括：

获取训练样本集，其中，所述训练样本集中的训练样本包括至少一个样本视频流和所述样本视频流的像素级标注结果；

利用初始语义分割模型对所述样本视频流中视频帧之间的空时上下文进行建模，得到所述样本视频流的上下文表征；

基于所述样本视频流的上下文表征和所述样本视频流的像素级标注结果，计算时序对比损失；

基于所述时序对比损失更新所述初始语义分割模型的参数，得到训练后的语义分割模型；

其中，所述时序对比损失表示为：

其中，t表示时序索引，j表示空间索引，τ＞0是一个温度超参数，and分别表示来自帧t′的正样本集合和负样本集合，anchor像素j来自视频帧t，Y_t^j表示在视频帧t的空间位置j的像素的标注类别，表示在视频帧t′的空间位置j⁺的预测类别，表示在视频帧t的空间位置j的像素其属于标注类别的预测概率，样本视频流的空时上下文表示为样本视频流的像素级标注结果表示为T是视频帧数量，H和W分别表示高度和宽度，C是特征的通道数。

2.根据权利要求1所述的方法，其中，所述初始语义分割模型包括特征提取网络和建模网络；以及

所述利用初始语义分割模型对所述样本视频流中视频帧之间的空时上下文进行建模，得到所述样本视频流的上下文表征，包括：

利用所述特征提取网络提取所述样本视频流中视频帧的特征，得到所述样本视频流的级联特征；

利用所述建模网络对所述级联特征进行建模，得到所述样本视频流的上下文表征。

3.根据权利要求2所述的方法，其中，所述利用所述特征提取网络提取所述样本视频流中视频帧的特征，得到所述样本视频流的级联特征，包括：

利用所述特征提取网络分别提取所述样本视频流中所有视频帧的特征；

基于时序维度将所述所有视频帧的特征进行级联，得到所述样本视频流的级联特征。

4.根据权利要求2所述的方法，其中，所述利用所述建模网络对所述级联特征进行建模，得到所述样本视频流的上下文表征，包括：

利用所述建模网络在时序和空间维度上将所述级联特征划分为至少一个网格组；

基于自注意力机制生成每个网格组的上下文表征；

对所述每个网格组的上下文表征进行处理，得到所述样本视频流对应的上下文表征。

5.根据权利要求4所述的方法，其中，所述对所述每个网格组的上下文表征进行处理，得到所述样本视频流对应的上下文表征，包括：

对所述每个网格组的上下文表征进行池化操作；

基于池化后的每个网格组的上下文表征和每个网格组的位置索引，得到所述样本视频流对应的上下文表征。

6.根据权利要求1所述的方法，其中，所述基于所述时序对比损失更新所述初始语义分割模型的参数，得到训练后的语义分割模型，包括：

基于所述时序对比损失、利用反向传播算法更新所述初始语义分割模型的参数，得到训练后的语义分割模型。

7.一种视频语义分割方法，包括：

获取目标视频流；

将所述目标视频流输入至预先训练的语义分割模型，输出得到所述目标视频流的语义分割结果，其中，所述语义分割模型采用如权利要求1-6中任一项所述的方法训练得到。