[发明专利]学习生成用于训练神经网络的合成数据集

权利要求书

1.一种方法，包括：对使用场景语法生成的场景图进行采样；将表示所述场景图的第一数据应用于第一机器学习模型，所述第一机器学习模型被训练以预测更新场景图，所述更新场景图具有在真实世界属性分布之后建模的合成属性分布；使用所述第一机器学习模型并且至少部分地基于所述第一数据，来计算表示变换的场景图的第二数据，所述变换的场景图包括由所述场景图内的初始属性表示的至少一个对象的更新属性；至少部分地基于所述第二数据来渲染表示图像的图像数据；至少部分地基于所述第二数据来生成表示相应地面实况的地面实况数据；以及使用所述图像数据和所述地面实况数据来训练第二机器学习模型。

2.根据权利要求1所述的方法，其中，所述场景语法是概率语法。

3.根据权利要求1所述的方法，其中，所述初始属性和相应的所述更新属性包括位置、姿势、维度、颜色、类别或标识值中的至少一个。

4.根据权利要求1所述的方法，其中，所述第一机器学习模型包括图卷积网络。

5.根据权利要求1所述的方法，其中，所述第一机器学习模型被进一步训练以预测所述变换的场景图，所述变换的场景图具有所述合成属性分布，所述合成属性分布是针对所述第二机器学习模型的任务量身定制的。

6.根据权利要求5所述的方法，其中使用第一损失函数来训练所述第一机器学习模型用于预测所述变换的场景图，所述变换的场景图具有在所述真实世界属性分布之后建模的所述合成属性分布，并且使用与所述第一损失函数不同的第二损失函数来训练所述第一机器学习模型用于预测所述变换的场景图，所述变换的场景图具有所述合成属性分布，所述合成属性分布是针对所述第二机器学习模型的所述任务量身定制的。

7.根据权利要求1所述的方法，其中，所述初始属性的第一子集是可变的，并且所述初始属性的第二子集是固定的，进一步地，其中在所述变换的场景图内仅所述第一子集考虑所述更新属性。

8.根据权利要求1所述的方法，其中，所述地面实况数据是使用所述图像数据自动生成的，以对应于所述第二机器学习模型的任务。

9.根据权利要求1所述的方法，其中，在部署之前，在真实世界验证数据集上测试所述第二机器学习模型。

10.一种方法，包括：使用机器学习模型并且至少部分地基于从场景语法采样的表示初始场景图的第一数据来计算表示变换的场景图的第二数据，每个变换的场景图包括变换的属性，所述变换的属性与对应于所述初始场景图的初始属性不同；至少部分地基于所述第二数据渲染表示合成图像的第三数据；通过将对应于所述合成图像的合成属性分布与对应于真实世界图像的真实世界属性分布进行比较来确定差异；至少部分地基于所述差异，生成表示网络更新信息的第四数据；以及使用所述第四数据来训练所述机器学习模型。

11.根据权利要求10所述的方法，其中所述合成属性分布或所述真实世界属性分布中的至少一个通过以下步骤确定：将表示所述真实世界图像或所述合成图像中的至少一个的第五数据应用于被训练用于特征提取的另一机器学习模型；以及至少部分地基于所述另一机器学习模型的输出来确定所述合成属性分布或所述真实世界属性分布中的至少一个。

12.根据权利要求10所述的方法，其中，所述场景语法是概率场景语法。

13.根据权利要求10所述的方法，其中，所述机器学习模型是图卷积网络。

14.根据权利要求10所述的方法，其中，所述差异是最大平均差异(MMD)。