[发明专利]神经网络模型的训练方法、装置、图像分类方法和介质

权利要求书

1.一种神经网络模型的训练方法，所述神经网络模型至少包括主干网络、第一分支和第二分支，其中，所述第一分支包括长短时记忆网络和连接所述长短时记忆网络输出端的全连接层和映射函数，其特征在于，所述训练方法包括：

获取标注有标签的多组图像序列，所述标签包括具有映射关系的第一类标签和第二类标签，所述第一类标签的时间粒度大于所述第二类标签；

利用所述主干网络提取所述图像序列中每一图像的空间特征，得到表征所述每一图像的空间特征的空间特征向量；

利用所述长短时记忆网络对所述空间特征向量进行时间序列预测，输出包括时间序列的时空特征向量；

将所述时空特征向量输入所述全连接层进行第二类标签的分类，得到所述时空特征向量的预测的第二类标签；

将所述预测的第二类标签输入到所述映射函数，得到所述时空特征向量的预测的第一类标签；

以及基于所述空间特征向量标注的第二类标签和所述预测的第二类标签构建三元组样本，所述三元组样本包括固定样本、正样本和负样本；将所述三元组样本输入所述第二分支，以计算所述第二分支的三元组损失函数；

基于标注的第一类标签、所述标注的第二类标签和所述预测的第一类标签和所述预测的第二类标签计算所述第一分支的联合损失函数；

将所述三元组损失函数和所述联合损失函数加权求和，得到总损失函数；

收敛所述总损失函数，以得到训练后的神经网络模型；所述训练后的神经网络模型可用于对待预测图像进行两种时间粒度的分类预测。

2.根据权利要求1所述的训练方法，其特征在于，所述第二类标签包括多个子标签，所述多个子标签包括子标签i和除子标签i以外的其他子标签，所述基于所述空间特征向量标注的第二类标签和所述预测的第二类标签构建三元组样本，包括：

记标签为所述子标签i的空间特征向量为所述固定样本；

比对所述空间特征向量标注的子标签和预测的子标签；

将标注为所述子标签i预测为所述其他子标签的空间特征向量作为所述正样本；

将标注为所述其他子标签预测为所述子标签i的空间特征向量作为所述负样本。

3.根据权利要求1所述的训练方法，其特征在于，所述将所述三元组样本输入所述第二分支，以计算所述第二分支的三元组损失函数，包括：

分别计算所述正样本与所述固定样本之间的第一余弦距离、所述负样本与所述固定样本之间的第二余弦距离；

将所述第一余弦距离减去所述第二余弦距离得到所述三元组损失函数。

4.根据权利要求3所述的训练方法，其特征在于，所述基于标注的第一类标签、所述标注的第二类标签和所述预测的第一类标签和所述预测的第二类标签计算所述第一分支的联合损失函数，包括：

计算所述标注的第一类标签和预测的第一类标签的第一交叉熵损失，以及计算所述标注的第二类标签和所述预测的第二类标签的第二交叉熵损失；

将所述第一交叉熵损失和所述第二交叉熵损失加权求和，得到所述联合损失函数。

5.根据权利要求1所述的训练方法，其特征在于，所述基于标注的第一类标签、所述标注的第二类标签和所述预测的第一类标签和所述预测的第二类标签计算所述第一分支的联合损失函数，包括：

计算所述标注的第一类标签和所述预测的第一类标签的第一交叉熵损失，以及计算所述标注的第二类标签和所述预测的第二类标签的第二交叉熵损失；

将所述第一交叉熵损失和所述第二交叉熵损失加权求和，得到所述第一分支的联合损失函数。

6.根据权利要求1-5任一所述的训练方法，其特征在于，所述第一类标签为手术流程的阶段标签，所述第二类标签为所述手术流程的步骤标签。

7.一种图像分类方法，其特征在于，所述图像分类方法包括：

获取图像序列，所述图像序列包括至少两帧图像；

将所述图像序列输入神经网络模型，得到所述图像的标签；

其中，所述标签包括具有映射关系的第一类标签和第二类标签，所述第一类标签的时间粒度大于所述第二类标签；所述神经网络模型为权利要求1-6任一所述的神经网络模型的训练方法得到的训练后的神经网络模型。