[发明专利]一种基于神经网络和PCA-KNN的高效VR视频压缩方法

说明书

本发明公开了一种基于神经网络和PCA‑KNN的高效VR视频压缩方法，涉及VR视频压缩技术领域，本发明包括如下步骤：S1、VR视频数据预处理；S2、将预处理后的VR视频数据输入Res‑CNN神经网络模型中，得到高维特征向量；S3、利用PCA‑KNN方法对高维特征向量进行降维分类，匹配最优映射模式，本发明针对不同的VR视频，通过神经网络的迁移特征，利用机器学习的方法分析VR视频的图像纹理特征，进而自适应地选择最优的映射模式，然后用该映射模式对VR视频进行映射后将其进行编码压缩，使得VR视频的编码压缩效率大大提高。

技术领域

本发明涉及VR视频压缩技术领域，更具体的是涉及一种基于神经网络和PCA-KNN的高效VR视频压缩方法。

背景技术

近年来，随着VR(Virtual Reality)技术的发展，为了得到更好的沉浸感体验，对VR视频的清晰度要求也随之上升。VR视频的分辨率从2K到4K甚至达到了8K，而目前的网络带宽达不到直接传输VR视频的要求，所以需要将VR视频进行编码压缩后再进行传输。但目前的视频编码标准都是针对二维视频建立的，所以三维的VR视频需要映射到二维平面后再进行编码传输。

三维视频映射到二维平面时会带来一定程度的失真，目前常用的映射方法有CMP(Cubemap projection)和ERP(Equirectangle projection)等映射方法，不同的映射方法带来的失真程度也不同，比如ERP映射方法会在两极处过采样，使得越靠近两极采样点失真越大，并且在映射时产生的失真也会对后面的编码压缩过程产生影响。因此，如何实现自适应地选择最佳映射方法来降低编码复杂度，提高VR视频的压缩效率是目前的研究重点。

发明内容

本发明的目的在于：为了解决目前多种VR映射方法对不同的VR视频会带来不同程度的失真，从而影响VR视频质量的问题，本发明提供一种基于神经网络和PCA-KNN的高效VR视频压缩方法。

本发明为了实现上述目的具体采用以下技术方案：

一种基于神经网络和PCA-KNN的高效VR视频压缩方法，包括如下步骤：

S1、VR视频数据预处理；

S2、将预处理后的VR视频数据输入Res-CNN神经网络模型中，得到高维特征向量；

S3、利用PCA-KNN方法对高维特征向量进行降维后分类，根据预测类别匹配最优映射模式。

进一步的，所述S1中对VR视频数据预处理，具体为：

S1.1、对VR视频进行插值处理，使VR视频图像的分辨率扩充为224的倍数，得到扩充视频；

S1.2、将扩充视频的每帧分割成大小为224×224的块；

S1.3、对每个块进行数据增广预处理。

进一步的，所述S1.3中的数据增广预处理包括如下步骤：

S1.3.1、对每个块进行随机水平翻转；

S1.3.2、对随机水平翻转后的块进行随机垂直翻转；

S1.3.3、对随机垂直翻转后的块进行颜色抖动处理；

S1.3.4、对颜色抖动处理后的块进行随机旋转。

进一步的，所述S2中，Res-CNN神经网络模型由包含1000类物体的ImageNet数据集进行预训练得到。

进一步的，所述Res-CNN神经网络模型包括卷积层、bottleneck层、池化层和全连接层，预处理后的VR视频数据依次经过所述卷积层、bottleneck层、池化层和全连接层后得到高维特征向量。