[发明专利]一种基于贝叶斯推理的图像场景分层处理方法

说明书

技术领域

本发明属于图像处理、计算机视觉领域，具体地说是一种基于贝叶斯推理的图像场景分层处理方法。

背景技术

基于视频素材的虚拟场景生成技术是虚拟现实的重要组成部分，也是虚拟现实、增强现实、计算机视觉及相关研究方向有机交叉的研究热点。图像虚拟场景生成是视频虚拟场景生成的重要组成部分，其中，图像虚拟场景的层次遮挡处理是图像虚拟场景生成技术需要解决的关键问题。在虚拟场景生成过程中，需要处理场景对象之间、场景对象和视频场景之间的各种空间遮挡关系，以确保视频虚拟场景正确的空间位置关系，其问题的关键在于如何确定各个场景对象的相对层次位置。

近年来，各国计算机视觉等领域的研究人员从线条识别、基于深度的分割、遮挡关系恢复、轮廓修复和前景/背景分割等角度研究如何解决层次化图像表示问题。层次化图像表示又称为2.1D sketch，是中低级视觉中重要研究问题，指通过在遮挡区域中断边界产生适当的连接，寻找图像的一个区域分解，使之具有最小数目的中断边界交叉点、裂缝尖端点、角点和尖点，从而将图像分解为以遮挡关系排序的交叠区域。

2007年，美国卡耐基梅隆大学机器人研究所的Hoiem等提出了从单幅图像中恢复场景对象的遮挡边界和深度序列的方法。该方法利用2D边界区域线索和3D表面深度线索，从一个训练集中学习得到遮挡模型，通过分割算法将场景图像分割成多个小区域，利用遮挡模型来不断迭代推理出遮挡关系，并且通过条件随机场模型不断逼近和标记遮挡边界，最终确定整个场景的遮挡关系和遮挡边界。

2007年，华中科技大学和莲花山研究院的高如新和吴田富等人提出基于混合马尔科夫随机场的贝叶斯推理算法推理图像层次结构。该方法首次利用基于马尔科夫随机场建模和推理来解决真实图像的层次结构问题，完成区域分层、轮廓修复和不确定性自动保持的处理。

分析当前各种求解图像场景分层问题的方法，这些方法一般都是从图像中学习表示遮挡关系的各种中低层信息，如位置、轮廓、交界点等，然后根据贝叶斯推理理论和统计计算，建立场景分层问题的数学模型，然后构建遮挡的条件随机场或者混合随机场数学模型，利用Swendsen Wang Cuts(简称SWC)、最速下降法等推理算法在解空间中搜索可能的分层解结果。这些方法是在像素级别研究层次结构的构建问题，只是利用图像中的中低层的信息解决图像场景分层问题，没有推理出图像场景中最可能表示其层次结构的分层结果。本发明研究对象级别的图像场景分层方法，利用已知对象的高层和中低层遮挡信息特征，建立基于贝叶斯理论的场景分层推理框架，以及构建对象遮挡关系的图结构表示和对象层次推理算法。

发明内容

为了克服现有技术的不足，本发明的目的在于提供一种基于贝叶斯推理的图像场景分层与遮挡处理方法，从而能够正确处理图像虚拟场景中对象的遮挡关系。本发明的重点是如何根据已有图像场景语义标记推理图像场景中对象间的遮挡关系和层次关系，从而能够在将用户感兴趣的对象加入到图像场景时正确处理已有对象和新加入对象之间的空间遮挡关系，使得生成的图像虚拟场景能够同时符合客观实际和用户要求，为图像虚拟场景中遮挡处理问题提供有效的技术支持，同时为基于视频素材的虚拟场景生成技术奠定基础。

为完成发明目的，本发明的技术解决方案是：在图像场景语义标记结果基础上，定义语义、位置、轮廓、公共边界和交界点五种遮挡线索，检测学习数据集图像的各种遮挡线索并学习每个遮挡线索的概率分布；构建贝叶斯推理框架，定义基于先验概率和似然概率的带权有向图；利用本发明提出的层次排序推理算法，结合后验概率最大化，在带权有向图上求解出图像场景的层次结构。

在图像场景语义标记中，存在多个中低层和高层的信息能够在一定程度上反映对象区域间的遮挡关系和层次关系。本发明从众多类信息中选择出对象语义线索、对象位置线索、对象轮廓线索、公共边界线索和交界点线索五种能够表示对象区域间遮挡关系和层次关系的线索，为后面的贝叶斯推理框架定义提供依据。