[发明专利]三维对象合成通过使用视觉引导作为二维数字图像的一部分

说明书

描述了技术和系统，其中采用视觉引导作为图像处理系统的一部分，以辅助3D对象作为数字图像的一部分的合成。在一个示例中，图像处理系统接收在用户界面中指定平面的取向的输入。作为响应，图像处理系统在用户界面中输出与平面相对应的视觉引导。然后，图像处理系统基于由视觉引导定义的平面来对3D对象进行取向，然后向其应用渲染技术，诸如基于物理的渲染和基于图像的照明。

背景技术

作为二维数字图像的一部分的三维(3D)对象的合成是用于电影特效、用于数字营销内容的产品模型等的常用技术。例如，数字营销专业人员可以与图像处理系统交互，以将产品作为3D对象(例如，鞋)插入背景图像中，以用于在广告中使用，例如用于横幅广告。该功能通过图像处理系统的进步可用于支持基于物理的绘制和基于图像的照明。这些进步使得由于基于2D数字图像的环境将光和颜色效果逼真地应用于3D对象，图像处理系统能够以视觉上令人满意的方式来将3D对象合成为2D数字图像的一部分。

然而，用于通过图像处理系统关于2D数字图像来对3D对象进行取向的传统技术对于复杂的用户而言是低效率和乏味的，并且对新手用户来说是困难的。由于应用于取向的重复校正和缺乏精度的结果，例如在观看时显得真实，这导致采用这些传统技术的图像处理系统对计算资源使用是低效的。

例如，传统技术可以分为五类，包括基于手动旋转的技术、基于消失点的技术、基于标记的技术、依赖于除了数字图像(例如，深度场或陀螺仪)之外的外部数据的技术、以及基于机器学习的技术。在传统的手动旋转技术中，通过使用轨迹球，3D对象相对于2D数字图像被取向。然而，这种技术在实践中通常被专业用户认为是乏味的，并且由新手用户容易出错，因为不正确的旋转中心会导致不期望的和不自然的结果。

在传统的消失点技术中，2D数字图像中的正交平行线组用于确定消失点，这些消失点足以恢复内在相机参数，例如在图像中定义水平线。然而，在实践中，2D数字图像可以不包含正交平行线组(例如，对于“关闭”)和/或平行线导致具有距图像的边界的引入误差的距离的消失点。另外，在一些情况下，不同的平行线组之间的正交性可能不成立(例如，限定这些线的不同对象彼此不正交)，并且因此也引入误差。此外，传统的消失点技术可能依赖于用户来追踪平行线，这是冗长乏味的并且可能引入不准确之处。另一方面，自动边缘检测技术可以部分地自动化跟踪过程，而且还引入作为2D数字图像中的前景纹理和噪声的结果的误差。

在传统的基于标记的技术中，包括已知尺寸的标记作为2D数字图像的一部分。然后由图像处理系统基于标记从2D数字图像中提取内在和外在的摄像机参数，诸如用于摄像机校准、视觉效果和增强现实。然而，实际上，这些标记通常不可用。

在传统的基于外部数据的技术中，从数字图像设备的图像传感器外部的传感器(例如深度传感器、飞行时间相机、结构化网格技术等等)获得的数据被用于提供附加信息。虽然这些数据可以提高精度，但是这些技术也引入了附加的挑战。例如，陀螺仪可以确定捕获数字图像设备的取向，但不能确定图像场景中的任意平面。深度传感器的输出通常被认为是有噪声的并且具有低分辨率，因此也可能引入误差。因此，这些挑战可能会引入不准确和不切实际的结果。

在适用于单个数字图像的传统基于机器学习的技术中，这些技术通常依赖于关于数字图像的特性的严格假设，如果不符合，则会导致误差。这些假设的示例包括数字图像的类型(例如，室内对室外)、从数字图像恢复的平面的类型(例如，接地平面或照摄像机轴对准的平面)等等。因此，这些传统技术可能由于各种挑战而失败，并且例如由于这些传统技术的重复应用而导致计算资源的低效消耗。

发明内容