[发明专利]用于产生透视效果的光场图像渲染方法和系统

说明书

公开一种光场图像处理方法，该方法用于通过区分处于不同景深处的对象以及分属不同类别的对象而去除遮挡前景并将非关注对象模糊化，从而产生透视效果。该图像处理方法可将指定关注对象后方的背景物模糊化。该图像处理方法还可从渲染图像中至少部分去除可阻挡观看者观看所述关注对象的任何遮挡物。该图像处理方法还可将渲染图像中表示所述关注对象之外的光场内其他对象的区域模糊化。该方法包括如下步骤：构建含有深度分量和语义分量的光场权重函数，其中，该权重函数向所述光场内的光线分配权重；以及以所述权重函数进行光场渲染。

相关申请的交叉引用

本申请基于申请号为PCT/CN2017/111911，申请日为2017年11月20日的在《专利合作条约》下的国际申请，要求该申请的优先权，并将其全部内容通过引用并入本文。

技术领域

本发明涉及图像处理，尤其涉及产生语义透视效果的光场图像渲染。

背景技术

光场图像处理理论和算法的概念和最新发展为这一新技术提供了越来越多在众多领域中获得创新性新用途的机会。另一方面，新的高性能硬件元器件，尤其能够捕获和处理大量图像数据的高性能图形处理单元(GPU)和数码相机对这些新的机会颇有贡献。在这些硬件元器件当中，多种元器件近来变得越来越容易获得，且价格越来越能够承受。另一方面，计算机视觉和图形识别技术的飞速发展与人工智能和深度学习算法方面的进展相辅相成，使得这些新的计算资源能够得到充分且成熟的应用，从而引领光场成像时代勃发的各种机会在商业上走向成功的前景。

上述新领域之一为光场图像渲染，其目的在于在渲染图像中产生透视效果。传统中，这一效果通过重新聚焦技术实现，该技术仅基于光场深度，其存在严重的限制和不足。在这一方面，当前可用技术无法使本领域最新技术进展所赋予的能力得到充分利用。

举例而言，在安保监控领域，透过遮挡物看到关注对象的能力有时极为重要。然而，当单单使用重新聚焦技术时，往往无法将遮挡物充分地去除或模糊化，因此不能全方位地充分识别和/或认出被遮挡物。在某些情况下，这一点可能决定着能否实现对嫌疑恐怖分子或高危险性罪犯的识别。

因此，光场图像渲染领域需要能够产生更为有效的透视效果的改进方法和系统。

发明内容

本发明提供图像处理方法和系统等，尤其提供通过去除光场中的遮挡前景并使非关注对象模糊化而在渲染图像中产生透视效果的光场图像渲染方法和系统。

总体而言，所述光场图像渲染方法和系统的实施方式可在光场图像渲染过程中区分位于不同光场场深处的对象以及属于不同类别的对象。例如，在光场图像渲染过程中，可以区分关注对象及其背景或前景，并且区分属于不同类别的汽车和行人。

在各种实施方式中，所述图像处理方法可将特定关注对象后方的背景物模糊化。该图像处理方法还可从渲染图像中至少部分去除任何可能阻挡观看者观看关注对象的遮挡物。此外，该图像处理方法还可将渲染图像中表示关注对象之外的光场中的其他对象的区域模糊化。

例如，当被识别为关注对象的汽车位于作为其背景的建筑物与因行走于该车之前且将其部分遮挡的行人之间时，除了将背景建筑物模糊化之外，渲染图像还可将所述行人至少部分模糊化和/或去除。

本发明实施方式通过根据每一光场光线的深度值向其分配深度导向权重、根据每一光场光线的标记分配结果向其分配标记导向权重、按照加权方案渲染光线等操作实现上述目的。每条光线的深度值和标记分配结果分别通过两种复杂神经网络计算。在一些实施方式中，通过深度信息，对初始类别标记分配结果进行进一步完善。在一些实施方式中，标记导向权重还进一步根据每一标记的关联深度值进行分配。

对于本领域技术人员而言，根据以下“具体实施方式”、“附图说明”及“权利要求书”，上述及其他方面、特征和优点将变得显而易见。

附图说明