[发明专利]一种视频间插入图像帧的方法、系统及电子设备

权利要求书

1.一种视频间插入图像帧的方法，其特征在于，包括以下步骤：

步骤a：分别在视频丢失时间之前和视频复原时间之后各选择m帧包含行人的特征图，并从每张特征图中分别采集设定数量的人体姿态点；

步骤b：将所有人体姿态点输入Alex Net网络，所述Alex Net网络利用三次多项式拟合与三次样条插值相结合的方法对待复原图像的行人姿态进行预测；

步骤c：将视频丢失时间之前的特征图对应的人体姿态点输入LSTM网络，得到待复原图像的行人姿态预测结果；

步骤d：根据所述Alex Net网络和LSTM网络的行人姿态预测结果得到待复原图像，并计算所述待复原图像在视频中的插入位置，将所述待复原图像插入到视频中对应的位置上；

其中，假设每张特征图中采集的人体姿态点为17个，在所述步骤b中，Alex Net网络的行人姿态预测方法具体包括：

步骤b1：将17个人体姿态点作为17个ID，分别利用三次多项式拟合方法确定一个回归曲线；每一个ID对应的人体姿态点在图像中都具有一个坐标，表示为：location_ID＝(x_i，y_i)，i＝ID，将每一个ID形成的一系列(x_i，y_i)代入三次多项式，得到：

y＝ax³+bx²+cx+d

借助计算机拟合得到17组(a_i，b_i，c_i，d_i)，并形成17个三次多项式拟合所确定的y＝f(x)，将y＝f(x)绘制在一张图像上，生成17条曲线，曲线中的横纵坐标分别是各个人体姿态点的位置表示；

步骤b2：通过三次样条插值法，将视频丢失时间前后两帧之间的图像坐标点还原出来，得到待复原图像的行人姿态预测结果，在卷积神经网络训练中，采用均方差来表示卷积神经网络的实验误差object₁，通过Alex Net的不断训练，调整合适的三次插值样条法系数从而达到良好的预测效果。

2.根据权利要求1所述的视频间插入图像帧的方法，其特征在于，在所述步骤c中，所述LSTM网络的输入结构为：

[h_t，c_t]＝LSTM(p_t，h_t-1，c_t-1)

则下一帧待复原图像的姿态预测为：

上述公式中，W^T表示神经网络训练出的权重，h_t，c_t为LSTM结构固有参数，LSTM网络的损失函数表示为Object₂＝Loss(LSTM)。

3.根据权利要求2所述的视频间插入图像帧的方法，其特征在于，所述步骤c后还包括：定义目标函数，根据所述目标函数对Alex Net网络和LSTM网络进行优化：

object_final＝object₁+object₂+|object₁-object₂|

上述公式中，|object₁-Object₂|表示让Alex Net网络和LSTM网络生成的行人姿态预测结果尽可能的靠近。

4.根据权利要求3所述的视频间插入图像帧的方法，其特征在于，在所述步骤d中，所述将所述 待复原图像插入到视频中对应的位置上具体包括：经过优化后的Alex Net网络和LSTM网络，分别得到两组相同帧数的待复原图像，每一帧待复原图像中都包含17个人体姿态点，分别将每一帧待复原图像中的17个人体姿态点与其ID相互对应，并求从Alex Net网络传入的(x_i，y_i)与从LSTM网络传入的的平均值，得到每一帧待复原图像的插入位置，并将所有待复原图像插入到对应的位置处；所述位置计算公式为：