[发明专利]基于注意力和循环神经网络的立体视频视觉舒适度分类法

说明书

本发明涉及基于注意力和循环神经网络的专业立体视频视觉舒适度分类方法，包括以下步骤：1、对训练视频集合和待预测视频集合进行场景分割并通过预处理得到视差图；2、进行帧级处理得到帧级特征；3、进行镜头级处理得到隐藏状态集；4、双流融合，使用注意力网络对上一步输出的隐藏状态集合进行融合得到最终的隐藏状态；5、最终的隐藏状态经过分类网络输出分类概率并将专业立体视频分类为适合儿童观看或仅适合成人观看。6、将待测试视频集合中立体视频的左视图和对应的视差图输入训练好的模型中进行分类。本发明能有效分辨专业立体视频是否适合儿童观看。

技术领域

本发明涉及图像和视频处理以及计算机视觉领域，特别是基于注意力和循环神经网络的专业立体视频视觉舒适度分类方法。

背景技术

立体视频又称为3D视频，不同于2D视频，其最重要的特点是具有深度信息，使得视频里景观的呈现不再局限于屏幕上。立体技术的蓬勃发展使得人们获得更好的观影体验的同时也带来了一些困扰，例如长时间观看不舒适的立体视频会带来头晕眩目、双眼干涩、恶心难受等感觉，这些不良反应会打击观众观看热度，甚至对观看者的生理健康造成影响。因此，如何评价立体影像的视觉舒适度质量成为人们关心的问题。影响立体视频视觉舒适的主要因素之一是视差，包括过大的水平视差、垂直视差以及快速变化的视差，另一个影响立体视频视觉舒适度的主要因素是视频内容，包括视频中的显著物体、视频的呈现方式以及物体的运动。

目前的舒适度评价方法虽然取得了一些较好的效果，但这些工作普遍没有考虑儿童的双目间距。对于儿童而言，其双目间距比成人窄且双目融合机制还未同成人般发育成熟，成像在视网膜上的视差大小与成年人存在差异，这就导致了儿童的立体感知与成人存在差异。就目前市场上映的立体电影来看，并非所有的立体电影都适合儿童观看，特别是原本就存在眼部疾病的儿童，视觉不适的立体电影可能会导致他们头痛、眼睛疲劳以及无法看清图像。

发明内容

本发明的目的在于提出基于注意力和循环神经网络的专业立体视频视觉舒适度分类方法，解决了当前立体视频舒适度评价算法没有将儿童作为受众对象考虑的问题，且能有效分辨专业立体视频是否适合儿童观看。

为实现上述目的，本发明的技术方案是：基于注意力和循环神经网络的专业立体视频视觉舒适度分类方法，包括以下步骤：

步骤S1：对训练视频集合和待预测视频集合进行场景分割并通过预处理得到视差图；

步骤S2：将训练视频集合中的立体视频左视图和对应的视差图作为双流输入进行帧级处理，使用时间推理网络从多个时间尺度对每个镜头内帧间的时序关系进行感知；

步骤S3：镜头级处理：使用循环神经网络双向门控循环单元对连续多个镜头的帧间时序关系进行感知，输出隐藏状态集合；

步骤S4：双流融合，使用注意力网络对步骤S3输出的隐藏状态集合进行融合得到最终的隐藏状态；

步骤S5：最终的隐藏状态经过分类网络输出分类概率并将专业立体视频分类为适合儿童观看或仅适合成人观看，从步骤S2至此即得到构建好的专业立体视频视觉舒适度分类模型；对所述专业立体视频视觉舒适度分类模型进行训练，训练过程中通过求解最小化损失函数，学习到专业立体视频视觉舒适度分类模型的最优参数，并保存模型参数；

步骤S6：将待测试视频集合的左视图和对应的视差图输入训练好的模型中进行分类。

进一步地，所述步骤S1具体包括以下步骤：

步骤S11：使用多媒体视频处理工具将视频分割成一帧帧图像；

步骤S12：利用镜头划分算法将立体视频划分为互不重叠的视频片段，每一个片段称为一个镜头；

步骤S13：将每一帧分割为左、右视图，使用SiftFlow算法计算左右视图中对应像素点的水平位移，作为视差图。

进一步地，所述步骤S2具体包括以下步骤：