[发明专利]根据包装的商品产品图像自动生成3D模型

说明书

背景技术

本发明的技术领域涉及用于3D交互体验和3D交互仿真的可伸缩内容创建，其中，所述3D交互体验和3D交互仿真包括但不限于：视频游戏和在线购物/浏览。 

计算机3D建模技术被用来为交互显示、商店内部的3D仿真构建3D包装的商品。具体而言，3D建模被用来实现浏览产品、产品商店/货架环境的终端用户体验和“挑出”产品来浏览以及在线阅读产品包装文本的体验。 

在构建包装的商品的3D模型以在商店内显示的应用中，使用了两种策略来构建货架(包装商品)3D模型内容。 

第一种策略使用 或其他通用建模应用，根据照片和产品测量信息，使用手工创建3D模型。尽管可以计划和组织用于系统地产生较大数量模型的工作流，但是工作的单元仍然是基于形状的手工建模和纹理映射(texture map)的手工创建。 

第二种策略使用通用基于照片的3D建模应用。存在用于解决从物理对象创建3D模型的一般问题的各种可商业获得的软件和方法。该软件的一个例子是“Strata Foto 3D”，其“允许人使用标准数字相机来将真实世界对象获取为完全纹理化的3D模型”。见可在www.strata.com/products/strata_3d_cx_suite/strata_foto_3d_cx/获取的产品信息。产品(包装的商品)的通用照片建模良好地用于产生少量的产品模型。该技术的主要局限是根据多张照片创建的3D模型需要大量的人工劳动来纠正缺陷和重新调整几何图形以用于在线3D应用。 

已有解决方案的局限是要基于一定量的手工(熟练3D美工)工作，这些工作是处理3D模型以用于计算机应用所需的。因为(在复杂的、通用3D建模应用中)每一个模型必须部分地或完全地通过手工来创建，所以基于该处理的任何建模工作流是不可伸缩的。 

使用基于3D模型的照片建模系统所观察到的另一个问题是几何网格 的不规则性。不规则的网格使得模型的下游尺寸调整/处理变得更加困难，并且会将工作流限制到将来对模型内容的手工编辑和手工调整的循环中。 

现有技术的缺点是依赖于内容产生过程中对模型的下游编辑。这成为问题的原因是：A)输入数据是随着新图像而不断地被更新的，以及B)输出规范可能由于在线购物者体验应用中的新的要求/改进而改变。 

依赖手工编辑会将内容产生限制到持续手工编辑的循环中。当需要很大的改变时，旧的输出被抛弃并且必须第二(或第三或第N)次产生内容创建的全部成本。 

发明内容

本发明要解决现有技术的上述问题。具体地说，本发明提供自动过程，来生成适合在线可视化要求、交互3D体验应用(像交互3D购物体验、交互3D视频游戏等)的包装商品的3D模型。 

本发明通过理解能够根据几何图元(像柱体或盒)对大部分产品包装进行建模而解决本主题的问题，其中几何图元可以变形以根据如标准化产品照片所获取的产品前视图、侧视图和俯视图来获取产品的精确的3D形状(或对象轮廓)。 

在一个实施例中，申请人利用已有的高分辨率包装商品产品图像的大型库，所述大型库用于支持2D可视货架图制定(planogramming)行业。在制定货架图时，根据编码在商店货架“货架图”中的标准化货架布局信息来创建商店货架布局的2D表示。 

这意味着存在链接到包括精确产品尺寸测量的数据库的视点“校准的”产品照片的大型库。在该实施例中，本发明系统从可商业获得的图像库(或经类似处理的具有图像掩模层的原始产品2D图像)开始，提取精确的产品形状信息，根据该形状信息和形状类别数据生成对应的3D表示，然后使用平面投影将原始照片映射回该3D表示。图像掩模层将照片分离为前景和背景。前景包括作为产品2D图像的部分的任何像素。背景包括其中照片场景中的背景或环境空间是可见的任何像素，这些像素不是产品2D图像的部分。用于将照片/2D图像中的前景和背景分离开的技术是公知的，并且本发明不依赖任何特定的图像掩模层方法。 

本发明的实施例的总体目标是根据2D图像创建3D模型，并在不需要对该模型进行下游编辑的情况下产生元数据。该方法的关键益处是能够运行(或再运行)模型处理以适应新的或更新后的图像内容或对模型输出进行改变(和纠正)。