[发明专利]用于自动车辆的交通灯检测和车道状态辨识

说明书

本公开的各方面涉及训练和使用用于确定感兴趣的车道的状态的模型。例如，包括图像(472、600)和标识至少一个交通灯(620、720)、至少一个交通灯的状态和由至少一个交通灯控制的车道的相关联的标签(910)的图像数据可以被接收并用于训练模型，使得模型被配置为响应于接收图像和图像中包括的感兴趣的车道，输出感兴趣的车道的车道状态。然后，车辆(100)可以使用该模型来确定感兴趣的车道的状态。然后，该状态可以被使用以基于感兴趣的车道的状态，以自动驾驶模式控制车辆。

相关申请的交叉引用

本申请要求2018年10月24日提交的序列号为16/169,080的申请的权益，其公开内容通过引用结合于此。

背景技术

自动车辆(诸如以自动驾驶模式操作时不需要驾驶员的车辆)可以用于协助将乘客或物品从一个位置运送到另一个位置。自动车辆的重要组件是感知系统，其允许车辆使用传感器(诸如相机、雷达、LIDAR传感器和其他类似的设备)感知和解释其周围环境。例如，感知系统和/或车辆的计算设备可以处理来自这些传感器的数据，以便识别对象及其特性，诸如位置、形状、尺寸、朝向、航向、加速度或减速度、类型等。该信息对于允许车辆的计算系统为车辆做出适当的驾驶决策至关重要。

发明内容

本公开的各方面提供了一种训练用于确定感兴趣的车道的状态的模型的方法。该方法包括由一个或多个服务器计算设备接收图像数据，该图像数据包括图像和标识(identify)至少一个交通灯、至少一个交通灯的状态以及由至少一个交通灯控制的车道的相关联的标签；以及由一个或多个服务器计算设备使用图像数据来训练模型，使得模型被配置为响应于接收到图像和图像中包括的感兴趣的车道，输出感兴趣的车道的车道状态。

在一个示例中，该方法还包括在训练之前，将与车道相对应的路段投影(project)到图像中。在另一个示例中，该方法还包括在训练之前，使用图像和投影生成第二图像，第二图像突出显示(highlight)图像中的投影区域，并且其中，训练模型还基于第二图像。在另一个示例中，该方法还包括：通过将至少一个交通灯的三维位置投影到图像中来生成相关联的标签。在该示例中，该方法还包括：通过处理图像以识别(identify)投影区域内的颜色斑点(blob of color)来确定状态。在另一个示例中，车道状态标识(identify)在那条车道中的车辆需要前进、停车还是小心。在另一个示例中，该方法还包括：训练模型以标识图像中与感兴趣的车道相关的停车线。在该示例中，训练还包括：使用标识图像中停车线的位置的标签。在另一个示例中，图像数据还包括第二图像和标识至少一个交通灯、至少一个交通灯在第二图像中的第二状态的第二相关联的标签，第二状态不同于至少一个交通灯的状态，使得训练包括使用在不同时间、不同状态下捕获到的至少一个交通灯的图像。

本公开的另一个方面提供了一种使用模型来确定感兴趣的车道的状态的方法。该方法包括：由一个或多个处理器接收由车辆的感知系统生成的图像；由一个或多个处理器标识感兴趣的车道；由一个或多个处理器使用图像和感兴趣的车道作为模型的输入，以根据图像中交通灯的状态输出感兴趣的车道的状态；以及由一个或多个处理器基于感兴趣的车道的状态，以自动驾驶模式控制车辆。

在一个示例中，用感兴趣的车道标识图像包括：将与车辆当前行驶的车道相对应的路段投影到图像中。在另一个示例中，该方法还包括：将感兴趣的车道的状态与图像中所确定的交通灯的状态进行比较，并且其中，还基于该比较来控制车辆。在该示例中，车道状态标识该车道中的车辆需要前进、停车还是小心。在另一个示例中，模型还输出图像中与感兴趣的车道相关的停车线的位置，并且还基于停车线的位置来控制车辆。在另一个示例中，该方法还包括：在捕获图像之前，基于预先存储的地图信息，以自动驾驶模式控制车辆，并且当车辆位于不被包括在地图信息中的区域中时，图像被输入到模型中。在另一个示例中，该方法还包括：在捕获图像之前，基于预先存储的地图信息，以自动驾驶模式控制车辆，并且当车辆位于地图信息中不是最新的区域中时，图像被输入到模型中。在另一个示例中，该方法还包括：将车道的状态与基于第二交通灯的状态确定的车道的状态进行比较，并且其中，控制车辆还基于该比较。