[发明专利]一种视频间插入图像帧的方法、系统及电子设备

说明书

本申请涉及一种视频间插入图像帧的方法、系统及电子设备。包括：分别在视频丢失时间之前和视频复原时间之后各选择m帧包含行人的特征图，并从每张特征图中分别采集设定数量的人体姿态点；将所有人体姿态点输入Alex Net网络，所述Alex Net网络利用三次多项式拟合与三次样条插值相结合的方法对待复原图像的行人姿态进行预测；将视频丢失时间之前的特征图对应的人体姿态点输入LSTM网络，得到待复原图像的行人姿态预测结果；根据所述Alex Net网络和LSTM网络的行人姿态预测结果得到待复原图像，并计算所述待复原图像在视频中的插入位置，将所述待复原图像插入到视频中对应的位置上。本申请提升了现有算法的精度。

技术领域

本申请属于视频间帧插入技术领域，特别涉及一种视频间插入图像帧的方法、系统及电子设备。

背景技术

伴随着越来越多的娱乐级短视频的应用，目前中国国内出现了大量的短视频传输和播放的需求，但与此同时带来的问题在于：由于网络传输等各种原因会造成视频传输过程中丢帧，这样的情况下就会造成观看视频的人视觉不连续的感觉，不仅影响观看体验，还有可能由于丢失关键信息造成视频可用价值不高。

现有技术在面对丢失帧的情况下，往往会通过改善传输过程的质量从而使得视频尽可能不丢帧的上传或下载，但是面对已然造成的丢失视频帧的情况也是无能为力。近年来的最新学术界顶级研究成果在这方面的工作相当少，主要是因为这是工业界催生的新需求，目前的相关工作少之又少，现在技术中只有基于过去视频帧而还原出后面预测的几帧，但几乎很少涉及在连续视频中还原出丢失的几帧视频。文献[Walker J,Marino K,GuptaA,et al.The pose knows:Video forecasting by generating pose futures[C]//Proceedings of the IEEE International Conference on Computer Vision.2017:3332-3341.]中表明在预测下一帧可能的行为上，可以使用VAE方法[Kingma D P,WellingM.Auto-encoding variational bayes[J].arXiv preprint arXiv:1312.6114,2013.]进行人的姿态预测，但是这些姿态预测仅仅是针对未来帧的一些预测，并不涉及到利用这些预测将两个相关视频但是中间帧数有缺失的画面补全。

发明内容

本申请提供了一种视频间插入图像帧的方法、系统及电子设备，旨在至少在一定程度上解决现有技术中的上述技术问题之一。

为了解决上述问题，本申请提供了如下技术方案：

一种视频间插入图像帧的方法，包括以下步骤：

步骤a：分别在视频丢失时间之前和视频复原时间之后各选择m帧包含行人的特征图，并从每张特征图中分别采集设定数量的人体姿态点；

步骤b：将所有人体姿态点输入Alex Net网络，所述Alex Net网络利用三次多项式拟合与三次样条插值相结合的方法对待复原图像的行人姿态进行预测；

步骤c：将视频丢失时间之前的特征图对应的人体姿态点输入LSTM网络，得到待复原图像的行人姿态预测结果；

步骤d：根据所述Alex Net网络和LSTM网络的行人姿态预测结果得到待复原图像，并计算所述待复原图像在视频中的插入位置，将所述待复原图像插入到视频中对应的位置上。

本申请实施例采取的技术方案还包括：假设每张特征图中采集的人体姿态点为17个，在所述步骤b中，所述Alex Net网络的行人姿态预测方法具体包括：