[发明专利]用于自动生成环境的训练图像集的系统和方法

说明书

本发明涉及一种用于自动生成环境的训练图像集的系统和方法。一种用于针对原生环境生成图像和标签的训练集的计算机实现的方法，该方法包括：接收物理坐标集，检索与环境的地理参考模型相对应的环境模型数据，以及创建多个二维(2D)渲染图像，每个图像与多个物理坐标集中的一个物理坐标集的视图相对应。2D渲染图像包括一个或更多个环境特征。该方法还包括生成链接数据，该链接数据将每个2D渲染图像与(i)用于所包括的一个或更多个环境特征的标签以及(ii)对应的原生图像相关联。另外，该方法还包括存储训练集，该训练集包括2D渲染图像、标签、对应的原生图像和链接数据。

技术领域

本发明涉及用于自动生成环境的训练图像集的系统和方法。

背景技术

至少一些已知的机器视觉系统被训练以导航由图像传感器检测到的环境(例如，由安装在机器上的摄像头检测到的环境)。例如，至少一些已知的无人航空载具(“UAV”)利用经训练的机器视觉系统来自主导航与UAV的各种任务目标有关的环境。又例如，至少一些已知的自动驾驶机动车利用经训练的机器视觉系统来导航与自主驾驶和/或自主追求自动驾驶机动车的各种目标有关的环境。通常使用如应用于训练图像集的合适的机器学习算法来训练这样的机器视觉系统。

这样的训练图像集通常包括标签和元数据以促进机器学习。例如，可以对训练图像进行语义分割以识别训练图像中所描绘的环境中的至少一个感兴趣的特征。语义分割可以包括掩模(例如叠加在各训练图像中的各环境特征上的预选颜色)以训练所应用的机器学习算法，从而将检测到的轮廓与环境中的正确环境特征相关联。训练图像还可以包括其它标签(例如环境特征在图像中的名称)以及元数据(例如对捕获图像的视点的描述、距环境特征的距离(例如，如果对象是跑道标记牌，则标签可能会标识距标记牌的距离)等)。生成这样的训练图像集的已知方法受到一些限制。例如，操作员通常手动将语义分割输入到训练图像，并将适当颜色的掩模应用到原始图像中的每个环境特征上。该过程比期望的更耗时，并且依赖于操作员的技能。此外，这样的训练图像的大数据集可能约为数千张图像，这可能使手动分割变得不切实际。

发明内容

本文描述了一种用于为原生(native)环境生成图像和标签的训练集的方法。该方法在包括与至少一个存储装置通信的至少一个处理器的计算系统上实现。该方法包括使用至少一个处理器来接收多个物理坐标集，并从至少一个存储装置中检索与环境的地理参考模型相对应的环境模型数据。环境模型数据定义了多个环境特征。该方法还包括使用至少一个处理器根据环境模型数据创建多个二维(2D)渲染图像。每个2D渲染图像与多个物理坐标集中的一个物理坐标集的视图相对应。多个2D渲染图像包括一个或更多个环境特征。该方法还包括使用至少一个处理器来生成链接数据，该链接数据将每个2D渲染图像与(i)用于所包括的一个或更多个环境特征的标签和(ii)对应的原生(native)图像相关联。另外，该方法还包括使用至少一个处理器来存储训练集，该训练集包括2D渲染图像、标签、对应的原生图像以及链接数据。

本文描述了一种用于针对原生环境生成图像和标签的训练集的计算系统。该计算系统包括与至少一个存储装置通信的至少一个处理器。所述至少一个处理器被配置为接收多个物理坐标集，并从所述至少一个存储装置中检索与环境的地理参考模型相对应的环境模型数据。环境模型数据定义了多个环境特征。所述至少一个处理器还被配置为根据环境模型数据创建多个二维(2D)渲染图像。每个2D渲染图像与多个物理坐标集中的一个物理坐标集的视图相对应。多个2D渲染图像包括一个或更多个环境特征。所述至少一个处理器还被配置为生成链接数据，该链接数据将每个2D渲染图像与(i)用于所包括的一个或更多个环境特征的标签和(ii)对应的原生图像相关联。另外，所述至少一个处理器被配置为存储训练集，该训练集包括2D渲染图像、标签、对应的原生图像以及链接数据。