[发明专利]一种图像内容驱动的室内三维场景布局与颜色迁移生成方法

说明书

技术领域

本发明涉及计算机视觉和计算机图形学领域，具体地说是涉及一种图像内容驱动的室内三维场景布局与颜色迁移生成方法。

背景技术

三维场景建模与生成一直是计算机图形学领域的重要问题，它具有广泛的应用背景，如动画生成、电影制作、室内设计、军事仿真等。其中将三维场景建模与变形技术应用于室内设计领域，对当前社会产生了不容忽视的经济效益和社会效益，为人们的生活带来了更快更便捷的信息和更加丰富多彩的精神享受。例如，人们在购置家居时，希望能装修出满足自己喜好的室内风格效果。对于非室内设计专业的人士来说，描述一种具体的室内风格显然是有些困难的，但是人们可以在网络的海量图像数据中，选择自己喜欢的室内风格，借助于三维场景建模与变形技术，生成一个具有这种风格的三维场景。这种基于图像的三维场景风格建模既可以更快的满足人们的需求，同时又能更便捷的满足人们提出的各种修改意见，它与基于图像的三维场景建模非常类似。基于图像的三维场景建模是计算机视觉和计算机图形学领域基础而重要的问题。目前很多学者致力于该领域的研究，如2009年香港科技大学的Xiao等人提出了街景建筑的建模，2011年国防科技大学的Xu等人提出了对称性物体的建模，2012年中科院深圳先进技术研究院的Nan等人提出了室内场景的建模。虽然基于图像的三维场景建模已经取得了相当的进展，但是本发明涉及的是室内场景风格的变形，是一种风格的建模而不是场景的建模，传统的基于图像的三维场景建模不能解决本发明所涉及的问题。

为了进行室内场景风格的变形，本发明首先需要明确什么是室内场景的风格。在计算机领域，目前还没有学者对室内场景风格进行描述和量化。根据室内设计人员的专业建议，室内场景的风格主要包括两个组成部分，即场景中的家具布局和场景的颜色搭配。本发明从这两个方面着手进行室内场景风格的研究。2011年加州大学洛杉矶分校的Yu等人提出了一种三维场景中家具自动摆放的算法，2011年斯坦福大学的Merrell等人提出了一种室内设计规则指导下的交互式家具摆放系统，2012年斯坦福大学的Fisher等人提出了一种基于样例的物体摆放生成系统。这些布局方面的工作，均需要一个三维的室内场景数据库作为训练集，而搭建这样的数据库是非常耗时耗力的。在颜色学习方面，2011年多伦多大学的O’Donovan等人提出了一种颜色兼容性理论，对颜色的各个参数进行了详细的分析；2012年，北京航空航天大学的Chen等人提出了一种基于结构特征保持的编辑传播方法，该方法能够根据参考图像对目标图像进行颜色转换，使得目标图像具有和参考图像一致的颜色特征。这些工作虽然涉及到了颜色的转换，但是没有涉及到颜色与室内场景风格的关系。

以上这些研究现状表明，目前对于室内布局或者颜色的研究，都没有涉及到场景风格，并且这两个方面的研究没有统一到一个框架下，而是单纯的某一个方面的研究，同时三维数据库的构建不是一件轻松的任务。由此本发明利用网络上的海量图像数据作为训练数据集，学习得到室内风格的布局和颜色规则，利用这些规则，将一个给定的室内三维场景风格变形，使得变形后的三维场景具有和输入图像相似的场景风格。

发明内容

1)目的：根据上述需求，为了克服现有技术的不足，本发明的目的在于提供一种图像内容驱动的室内三维场景布局与颜色迁移生成方法，它是利用图像数据集，学习室内场景风格规则，从布局和颜色两个方面，将给定的室内三维场景风格变形为输入图像的场景风格。

2)技术方案：为完成发明目的，本发明采用的技术方案是：

一种图像内容驱动的室内三维场景布局与颜色迁移生成方法，该方法包含以下步骤：

步骤一：对室内图像场景数据集中的图像进行预处理，包括：人工标注语义信息，得到每张图像的语义标记图；人工标注布局信息，得到每张图像的布局俯视图。

步骤二：定义四种布局规则和四种颜色规则，在训练图像数据集上学习得到四种布局规则的分布和四种颜色规则的分布，以及布局-颜色规则之间的关联关系。

步骤三：对输入图像进行语义分割处理，通过语义标记将输入图像与输入室内三维场景建立关联关系；提取输入图像自身的布局约束和颜色约束，作为室内三维场景布局和颜色迁移时的先验约束。

步骤四：根据布局规则的分布，结合输入图像的布局约束，对室内三维场景进行布局迁移的生成，使得室内三维场景具有与输入图像相似的布局风格。