[发明专利]视觉模型训练和视频处理方法、装置、设备及存储介质

权利要求书

1.一种视觉模型训练方法，其特征在于，包括：

获取样本数据，其中，所述样本数据包括多个不同样本视频各自对应的样本视频帧集合；

基于所述样本数据对待训练的视觉模型进行至少一次迭代预训练，输出预训练后的视觉模型，其中，在每次迭代预训练中，基于选取的样本视频帧集合中各个样本视频帧各自对应的正样本视觉特征，以及历史迭代预训练中使用的其他样本视频帧各自对应的负样本视觉特征，获得相应的第一损失函数，并采用所述第一损失函数对所述待训练的视觉模型进行参数调整；

基于所述样本数据对预训练后的视觉模型进行至少一次迭代微调训练，输出已训练的目标视觉模型，其中，在每次迭代微调训练中，基于选取的样本视频帧集合中各个样本视频帧各自对应的预测视频类别，获得相应的第二损失函数，并采用所述第二损失函数对所述预训练后的视觉模型进行参数调整。

2.如权利要求1所述的方法，其特征在于，所述各个样本视频帧包括至少一个第一样本视频帧和至少一个第二样本视频帧；

所述基于选取的样本视频帧集合中各个样本视频帧各自对应的正样本视觉特征，以及历史迭代预训练中使用的其他样本视频帧各自对应的负样本视觉特征，获得相应的第一损失函数之前，还包括：

采用所述待训练的视觉模型对所述至少一个第一样本视频帧进行特征提取，获得所述至少一个第一样本视频帧各自对应的第一正样本视觉特征；

采用参考视觉模型分别对所述至少一个第二样本视频帧进行特征提取，分别获得所述至少一个第二样本视频帧各自对应的第二正样本视觉特征。

3.如权利要求2所述的方法，其特征在于，所述采用所述第一损失函数对所述待训练的视觉模型进行参数调整，包括：

基于所述至少一个第一样本视频帧各自对应的第一正样本视觉特征，分别确定所述至少一个第一样本视频帧各自对应的预测画布区域；

基于所述至少一个第一样本视频帧各自对应的预测画布区域和所述至少一个第一样本视频帧各自对应的基准画布区域，确定第三损失函数；

采用所述第一损失函数和所述第三损失函数，对所述待训练的视觉模型进行参数值调整。

4.如权利要求2或3所述的方法，其特征在于，在每次迭代预训练中，还包括：

基于参数调整后的所述待训练的视觉模型，对所述参考视觉模型进行参数值调整。

5.如权利要求1所述的方法，其特征在于，所述基于选取的样本视频帧集合中各个样本视频帧各自对应的预测视频类别，获得相应的第二损失函数之前，包括：

采用所述预训练后的视觉模型，分别对所述各个样本视频帧进行特征提取，获得所述各个样本视频帧各自对应的目标样本视觉特征；

基于获得的目标样本视觉特征，分别预测所述各个样本视频帧各自对应的预测视频类别。

6.如权利要求5所述的方法，其特征在于，所述采用所述第二损失函数对所述预训练后的视觉模型进行参数调整，包括：

基于所述各个样本视频帧各自对应的目标样本视觉特征，确定所述各个样本视频帧分别对应的预测画布区域；

基于所述各个样本视频帧分别对应的预测画布区域，以及所述各个样本视频帧分别对应的基准画布区域，确定第四损失函数；

采用所述第二损失函数和所述第四损失函数，对所述预训练后的视觉模型进行参数值调整。

7.如权利要求1所述的方法，其特征在于，所述获取样本数据，包括：

获取多个样本视频，并从每个样本视频中获取多个样本视频帧；

基于所述多个样本视频各自对应的样本视频帧，分别确定所述多个样本视频各自对应的视频特征；

基于所述多个样本视频各自对应的视频特征，对所述多个样本视频去重，并将保留的样本视频对应的样本视频帧集合作为样本数据。