[发明专利]基于光场语义的个体匹配方法、装置、设备和介质

说明书

本申请提供的一种基于光场语义的个体匹配方法、装置、设备和介质，通过获取包含不同视角的光场图像集；选取任一视角的光场图像进行重对焦以形成对焦图像集，对各对焦图像进行语义分析得到不同个体的对焦语义分割；依据各所述对焦语义分割的结果对属于同类的所述个体进行聚类以获得各所述个体于不同所述对焦图像上的深度值范围；对其他视角下的所述光场图像进行语义分析，以得到各视角下各对应不同所述个体的原始语义分割；依据所述深度值范围通过重投影获得各视角下各所述个体的对应关系。本申请获得多视角下的语义个体对应关系，在立体匹配时将搜索范围限制在相同的区域内，大大缩短了匹配计算时间。

技术领域

本发明涉及计算机视觉处理技术领域，特别是涉及一种基于光场语义的个体匹配方法、装置、设备和介质。

背景技术

立体匹配多基于整张图片进行，优化目标也仅仅考虑图片的色彩信息。因此，在场景具有重复图案时常会出现匹配失败的情况，从而影响结果精度。基于深度学习的语义分析一定程度上可以帮助解决这种仅仅考虑色彩的情况下匹配失败的情况。

语义分割是计算机视觉的基础任务之一。该任务以二维图像为输入，通过视觉算法分割出图像中不同的对象区域，并识别其中的内容(语义值)，也即，在保证图像域连续性的同时为图片的每个像素点确定所属语义类别。传统分割方法多基于条件随机场、随机森林等统计学方法构建分类器，深度学习之后，运用卷积神经网络实现高效图片分类的同时，在分割问题上也取得了重大进展。同时，随着多视几何的发展，越来越多的研究者将立体视觉信息融合到传统单目视觉算法流程中，往往能够取得更好的算法表现，但对于多帧采却难以做到实时采集，并且多相机系统又存在同步设定等复杂的系统问题。另外，当场景中存在严重遮挡时，语义分割往往不能得到令人满意的结果。

光场相机作为多视几何的一种特殊情况，相机排布按照一定的规则进行，与多相机系统相比，光场相机可以将多视几何与单目算法优点相结合，可以有效去除遮挡，并实现在一次曝光中收集多视角信息。

但是对于该多视角信息还存在一个问题，即难以获得多视角下的语义个体对应关系，进而在立体匹配过程中，对每个像素寻找匹配像素时，不能有效限制其搜索范围，因此大大增加了匹配运算的时间。

发明内容

鉴于以上所述现有技术的缺点，本申请的目的在于提供一种基于光场语义的个体匹配方法、装置、设备和介质，以解决现有技术中难以获得多视角下的语义个体对应关系的问题。

为实现上述目的及其他相关目的，本申请提供一种基于光场语义的个体匹配方法，所述方法包括：获取包含不同视角的光场图像集；选取任一视角的光场图像进行不同深度的重对焦以形成对焦图像集，对各对焦图像进行语义分析得到不同个体的对焦语义分割；依据各所述对焦语义分割的结果对属于同类的所述个体进行聚类以获得各所述个体于不同所述对焦图像上的深度值范围；对其他视角下的所述光场图像进行语义分析，以得到各视角下各对应不同所述个体的原始语义分割；依据所述对焦图像集上各所述个体对应的所述深度值范围通过重投影将各所述个体对应的所述对焦语义分割的结果映射到各视角下以形成映射语义分割；通过所述原始语义分割与所述映射语义分割的相似度对比获得各视角下各所述个体的对应关系。

于本申请一实施例中，所述光场图像集是由相机阵列对应一场景拍摄得到的多视角图像组成。

于本申请一实施例中，所述重对焦中依据均值等分选取不同对焦深度。

于本申请一实施例中，所述对各对焦图像进行语义分析得到不同个体的对焦语义分割的方法包括：依据目标检测找到各所述个体，并通过边界框对各所述个体进行语义标记与分割；计算各所述个体对应的语义置信度、及聚焦度，据以得到对应所述对焦图像的对焦语义分割的质量分布。

于本申请一实施例中，所述依据各所述对焦语义分割的结果对属于同类的所述个体进行聚类的方法包括：任选两个所述个体，依据各所述个体对应的所述边界框之间差距、及深度值之间差距粗估两个所述个体的相似度，以判断两个所述个体是否属于同类。