[发明专利]一种基于VR图像处理的焦点对象选取方法

说明书

本申请公开了一种基于VR图像处理的焦点对象选取方法，包括如下步骤：确定焦点对象；高清传输焦点对象并同步非高清传输背景图像。本申请达到了降低网络传输数据量，避免传输延迟并且满足客户观看视频为高清视频的技术效果。

技术领域

本申请涉及VR图像传输技术领域，尤其涉及一种基于VR图像处理的焦点对象选取方法。

背景技术

当今对图像传输过程中对分辨率的要求越来越高，尤其是在VR图像传输领域，因为VR需要双目输出，所以在传输上就有双倍大小图像输出的需求。根据目前的可行性方案，如果发送端使用X264编码压缩然后在接收端使用h264解码可以实时传输压缩后的视频流数据，并能有效降低网络传输数据量。但是网路传输领域还是存在传输高清、特高清视频会导致延迟加重的情况和无法即时性观察的可能性，特别是这种4K或者8K的视频传输压力则更大。

此外，相对应的视频编码领域压缩率越高则清晰度就越低，无法满足又能即时传输又能让客户观看高清视频的可能性，也无法满足VR的双目输出全景高清图的需求。

发明内容

本申请的目的在于提供一种基于VR图像处理的焦点对象选取方法，能够达到降低网络传输数据量，避免传输延迟并且满足客户观看视频为高清视频的技术效果。

为达到上述目的，本申请提供一种基于VR图像处理的焦点对象选取方法，包括如下步骤：确定焦点对象；高清传输焦点对象并同步非高清传输背景图像。

优选的，确定焦点对象的方法具体为：接收深度摄像头捕捉或拍摄的视频；获取视频中每一帧图像的图像信息和深度图像信息；利用R-CNN算法列出每一帧图像中的所有对象；对每个对象进行优先级排序，优先级高的作为焦点对象。

优选的，根据每个对象与摄像头之间的最近距离进行优先级排序，最近距离越小的优先级越高。

优选的，根据每个对象的类型进行优先级排序，类型至少包括人物、动物、物体，人物的优先级高于动物的优先级，动物的优先级高于物体的优先级。

优选的，利用R-CNN算法列出图像中的所有对象的方法具体为：将每张图像生成多个候选区；对每个候选区，使用深度网络提取特征；将从每个候选区中提取的特征送入每一类的SVM分类器进行分类；确认候选区分类后，通过位置精修做进一步验证；通过深度信息对候选区进行分析，逐一给出具有成为焦点可能性的对象。

优选的，生成候选区的方法具体为：将图像分割成多个小区域；查看各个小区域，合并符合合并类型的相邻小区域，重复直到整张图像合并成一个区域位置；输出从分割到合并完成过程中所有出现过的区域作为候选区。

优选的，合并类型包括：第一类：颜色相近的小区域；第二类：纹理相近的小区域；第三类：合并后总面积小的小区域；第四类：合并后，总面积在其BBOX中所占比例大的小区域。

优选的，合并符合合并类型的小区域的方法为第一类、第二类、第三类和第四类四种合并类型同时进行计算。

优选的，合并小区域在多个颜色空间中进行，多个颜色空间至少包括RGB颜色空间、HSV颜色空间和Lab颜色空间。

优选的，高清传输焦点对象并同步非高清传输背景图像的方法为：计算每个焦点对象的边界；计算所有焦点对象的平均深度值、第一边缘轮廓和第二边缘轮廓；根据第一边缘轮廓和第二边缘轮廓融合处理焦点对象和背景图像，并完成传输。

本申请实现的有益效果如下：能够达到降低网络传输数据量，避免传输延迟并且满足客户观看视频为高清视频的技术效果。

附图说明