[发明专利]视频生成方法、装置、设备及存储介质

权利要求书

1.一种视频生成方法，其特征在于，所述方法包括：

获取视频训练集合，对所述视频训练集合中的视频进行逐帧图像分割，得到原始图像训练集合；

在所述原始图像训练集合的图像中添加位置信息，得到标准图像训练集合，并利用预训练的特征提取模型对所述标准图像训练集合中的图像进行特征提取，得到原始图像特征集合；

对所述标准图像训练集合中的图像进行位置编码，得到位置特征向量集合，基于所述位置特征向量集合及所述原始图像特征集合构建标准图像特征集合；

利用所述标准图像特征集合训练预构建的图像特征预测模型，得到图像特征生成模型；

获取带有起始位置信息的待分析图像，利用所述图像特征生成模型对所述待分析图像进行上下文图像特征生成，得到带有预测位置信息的上下文图像特征；

利用预设的图像解码器对所述上下文图像特征进行图像还原，得到上下文图像集合；

利用所述起始位置信息及所述上下文图像特征中的预测位置信息对所述待分析图像及所述上下文图像集合中的图像进行串联，得到串联视频。

2.如权利要求1所述的视频生成方法，其特征在于，所述对所述视频训练集合中的视频进行逐帧图像分割，得到原始图像训练集合，包括：

对所述视频训练集合中的视频进行下采样处理，得到采样视频集合；

对所述采样视频集合中的视频进行逐帧图像提取，得到原始图像训练集合。

3.如权利要求1所述的视频生成方法，其特征在于，所述在所述原始图像训练集合的图像中添加位置信息，得到标准图像训练集合，包括：

按照预设的滑动窗口对所述原始图像训练集合中的图像进行像素块分割，得到像素块集合；

按照预设的第一随机值对所述像素块集合中的像素块进行随机遮掩处理，得到标准像素块集合；

对所述标准像素块集合中的像素块进行平铺处理，得到图像序列集合；

在所述图像序列集合中添加位置信息，汇总所有添加完位置信息的图像序列得到所述标准图像训练集合。

4.如权利要求1中所述的视频生成方法，其特征在于，所述对所述标准图像训练集合中的图像进行位置编码，得到位置特征向量集合，基于所述位置特征向量集合及所述原始图像特征集合构建标准图像特征集合，包括：

基于所述标准图像训练集合中图像的位置信息对所述标准图像训练集合中的图像进行位置编码，得到位置特征向量集合；

基于所述位置信息将所述位置特征向量集合中的向量及所述原始图像特征集合中的特征向量进行相加，得到所述标准图像特征集合。

5.如权利要求4所述的视频生成方法，其特征在于，通过下述公式对所述标准图像训练集合中的图像进行位置编码：

其中，pos表示位置信息，i表示特征里的维度，d_model表示特征的总维度，PE_(pos,2i)表示位置信息为pos的图像第2维位置的特征编码参数，PE_(pos,2i+1)表示位置信息为pos的图像第2+1维位置的特征编码参数。

6.如权利要求4所述的视频生成方法，其特征在于，所述利用所述标准图像特征集合训练预构建的图像特征预测模型，得到图像特征生成模型，包括：

按照预设的第二随机值对所述标准图像特征集合中的图像特征进行随机遮掩处理，得到遮掩特征向量；

利用所述图像特征预测模型对所述遮掩特征向量进行特征预测，得到预测概率；

基于所述预测概率计算预测损失值，并在所述预测损失值不满足预设的损失阈值时，调整所述图像特征预测模型的网络参数，返回所述利用所述图像特征预测模型对所述遮掩特征向量进行特征预测的步骤，直至所述预测损失值满足所述损失阈值时，停止训练，将训练完成的图像特征预测模型作为图像特征生成模型。