[发明专利]基于多层注意力和BiGRU的专业立体视频舒适度分类方法

说明书

本发明涉及一种基于多层注意力和BiGRU的专业立体视频舒适度分类方法。包括以下步骤：1、对训练视频集合和待预测视频集合进行场景分割并通过预处理得到视差图；2、进行帧级处理得到初步帧级特征；3、进行帧级注意力处理得到最终帧级特征；4、进行镜头级处理得到初步镜头级特征；5、进行镜头级注意力处理得到最终镜头级特征；6、双流融合，使用通道注意力对上一步输出进行融合得到最终的隐藏状态；7、最终的隐藏状态经过分类网络输出分类概率并将专业立体视频分类为适合儿童观看或仅适合成人观看。8、将待测试视频集合中立体视频的左视图和对应的视差图输入训练好的模型中进行分类。本发明能有效分辨专业立体视频是否适合儿童观看。

技术领域

本发明涉及图像和视频处理以及计算机视觉领域，特别一种基于多层注意力和BiGRU的专业立体视频舒适度分类方法。

背景技术

立体视频又称为3D视频，不同于2D视频，其最重要的特点是具有深度信息，使得视频里景观的呈现不再局限于屏幕上。立体技术的蓬勃发展使得人们获得更好的观影体验的同时也带来了一些困扰，例如长时间观看不舒适的立体视频会带来头晕眩目、双眼干涩、恶心难受等感觉，这些不良反应会打击观众观看热度，甚至对观看者的生理健康造成影响。因此，如何评价立体影像的视觉舒适度质量成为人们关心的问题。影响立体视频视觉舒适的主要因素之一是视差，包括过大的水平视差、垂直视差以及快速变化的视差，另一个影响立体视频视觉舒适度的主要因素是视频内容，包括视频中的显著物体、视频的呈现方式以及物体的运动。

目前的舒适度评价方法虽然取得了一些较好的效果，但这些工作普遍没有考虑儿童的双目间距。对于儿童而言，其双目间距比成人窄且双目融合机制还未同成人般发育成熟，成像在视网膜上的视差大小与成年人存在差异，这就导致了儿童的立体感知与成人存在差异。对于成人观看舒适的立体视频可能并不适合儿童观看。对于原本就存在眼部疾病的儿童，视觉不适的立体电影可能会导致他们头痛、眼睛疲劳以及无法看清图像。

发明内容

本发明的目的在于提供一种基于多层注意力和BiGRU的专业立体视频舒适度分类方法，解决了当前立体视频舒适度评价算法没有将儿童作为受众对象考虑的问题，且能有效分辨专业立体视频是否适合儿童观看。

为实现上述目的，本发明的技术方案是：一种基于多层注意力和BiGRU的专业立体视频舒适度分类方法，包括如下步骤：

步骤S1、对训练视频集合和待预测视频集合进行场景分割并通过预处理得到视差图；

步骤S2、帧级处理，将训练视频集合中的立体视频左视图和对应的视差图作为双流输入进行帧级处理，使用时间推理网络从多个时间尺度对每个镜头内帧间的时序关系进行感知；

步骤S3、帧级注意力处理，对每个镜头内帧间的时序关系进行加权求和得到最终的帧级特征；

步骤S4、镜头级处理，使用循环神经网络双向门控循环单元对连续多个镜头的帧级特征进行感知，输出隐藏状态集合；

步骤S5、镜头级注意力处理，对步骤S4输出的隐藏状态集合进行加权求和得到最终的镜头级特征；

步骤S6、双流融合，使用通道注意力网络对步骤S5输出的镜头级特征进行融合得到最终的隐藏状态；

步骤S7、最终的隐藏状态经过分类网络输出分类概率，并将专业立体视频分类为适合儿童观看或仅适合成人观看，从步骤S2至此即得到构建好的专业立体视频视觉舒适度分类模型；对所述专业立体视频视觉舒适度分类模型进行训练，训练过程中通过求解最小化损失函数，学习到专业立体视频视觉舒适度分类模型的最优参数，并保存训好的模型；

步骤S8、将待测试视频集合的左视图和对应的视差图输入训练好的模型中进行分类预测。

在本发明一实施例中，所述步骤S1具体包括以下步骤：

步骤S11、使用多媒体视频处理工具将视频分割成一帧帧图像；