[发明专利]用于合成数据生成的场景结构的无监督学习

说明书

本发明公开了一种用于合成数据生成的场景结构的无监督学习。规则集或场景语法可用于生成表示场景中对象的结构和视觉参数的场景图形。渲染器可以将该场景图形作为输入并具有在场景图形中识别的资产的内容库，可以生成具有期望的场景结构的场景合成图像，而无需在场景中手动放置任何对象。以这种方式合成的图像或环境可用于，例如为真实世界的导航应用程序生成训练数据，以及为游戏或虚拟现实体验生成虚拟世界。

相关申请的交叉引用

本专利申请要求于2020年3月6日提交的名称为“桥接模拟到真实的间隙：用于合成数据生成的场景结构的无监督学习(Bridging the Sim-to-Real Gap: UnsupervisedLearning of Scene Structure for Synthetic Data Generation)”的美国临时专利申请序列号62/986,614的优先权，特此出于所有目的将其全文并入本文。

背景技术

诸如游戏、动画和模拟之类的应用程序越来越依赖于更详细和逼真的虚拟环境。在许多情况下，过程模型被用于在这些环境中合成场景，以及创建用于机器学习的标记合成数据集。为了产生逼真的和多样化的场景，专家必须仔细调整控制程序模型的许多参数。这些参数既控制生成的场景的结构(例如，场景中有多少辆汽车)，也控制将对象置于有效配置中的参数。手动确定和调整这些参数以及配置这些场景的其他方面的知识的复杂性和知识量可能会限制广泛适用，并且还可能会限制所生成环境的真实性或范围。

附图说明

将参考附图描述根据本公开的各种实施例，其中：

图1A和图1B示出了根据至少一个实施例的可以生成的图像；

图2A、图2B和图2C示出了根据至少一个实施例的场景的规则和图形；

图3A、图3B和图3C示出了根据至少一个实施例的场景图形生成的阶段；

图4示出了根据至少一个实施例的用于从场景语法生成图像的过程；

图5示出了根据至少一个实施例的用于训练网络的过程；

图6示出了根据至少一个实施例的用于生成场景图形的系统的组件；

图7A示出了根据至少一个实施例的推理和/或训练逻辑；

图7B示出了根据至少一个实施例的推理和/或训练逻辑；

图8示出了根据至少一个实施例的示例数据中心系统；

图9示出了根据至少一个实施例的计算机系统；

图10示出了根据至少一个实施例的计算机系统；

图11示出了根据一个或更多个实施例的图形处理器的至少一部分；

图12示出了根据一个或更多个实施例的图形处理器的至少一部分；

图13是根据至少一个实施例的用于高级计算管线的示例数据流程图；

图14是根据至少一个实施例的用于在高级计算管线中训练、调整、实例化和部署机器学习模型的示例系统的系统图；以及

图15A和图15B示出了根据至少一个实施例的用于训练机器学习模型的过程的数据流程图，以及用于利用预训练的注释模型来增强注释工具的客户端服务器架构。

具体实施方式