[发明专利]机器人系统的性能测试

权利要求书

1.一种用于测试和/或训练机器人系统的运行时堆栈的计算机系统，所述计算机系统包括：

模拟器，所述模拟器被配置为运行模拟场景，其中，模拟主体与一个或更多个外部对象交互；

运行时堆栈的规划器，所述运行时堆栈的规划器被配置为根据为所述模拟场景计算的感知输出的时间序列为每个模拟场景做出自主决策；以及

运行时堆栈的控制器，所述运行时堆栈的控制器被配置为生成一系列控制信号以使所述模拟主体随着所述模拟场景的进展而执行所述自主决策；

其中，所述计算机系统被配置为通过以下操作来计算每个感知输出：

基于所述模拟场景的当前状态计算感知地面实况；

将感知统计性能模型(PSPM)应用于所述感知地面实况，从而确定概率感知不确定性分布；以及

从所述概率感知不确定性分布中采样所述感知输出；

其中，PSPM用于对所述运行时堆栈的感知切片进行建模，并且被配置为基于从使用要被建模的感知切片生成的实际感知输出集合学习的参数集合来确定所述概率感知不确定性分布；

其中，所述计算机系统被配置为基于为重新运行场景确定的感知地面实况的时间序列来重新运行模拟场景，而无需将所述PSPM应用于那些感知地面实况，因此没有感知误差。

2.根据权利要求1所述的计算机系统，包括：场景评估部件，所述场景评估部件被配置为通过应用预定规则集合来评估所述外部主体在每个所述模拟场景中的行为。

3.根据权利要求2所述的计算机系统，其中，预定规则中的至少一些与安全性有关，并且所述场景评估部件被配置为评估所述主体在每个所述模拟场景中的行为的安全性。

4.根据权利要求3所述的计算机系统，其中，所述主体在所述场景中最初表现出不安全行为，并且重新运行所述场景以评估所述主体在所述重新运行场景中是否仍然表现出不安全行为。

5.根据权利要求3或4所述的计算机系统，其中，所述场景评估部件被配置为通过所述主体自动地标记不安全行为的实例，用于进一步分析和测试。

6.根据前述权利要求中任一项所述的计算机系统，所述计算机系统被配置为在测试数据库中记录每个模拟场景的细节，其中，所述细节包括由所述规划器做出的决策、那些决策所基于的感知输出以及所述模拟主体在执行那些决策时的行为。

7.根据前述权利要求中任一项所述的计算机系统，其中，所述PSPM被应用于所述感知地面实况以及与所述模拟场景相关联的一个或更多个混杂因素，其中，每个混杂因素是所述PSPM的变量，所述变量的值表征适用于所述模拟场景的物理条件，并且所述概率感知不确定性分布依赖于所述变量。

8.根据权利要求7所述的计算机系统，其中，所述一个或更多个混杂因素包括以下混杂因素中的一个或更多个，所述混杂因素至少部分地确定从中采样所述感知输出的概率不确定性分布：

外部对象中的至少一个的遮挡级别；

一个或更多个照明条件；

一天中的时间的指示；

一种或更多种天气条件；

季节的指示；

所述外部对象中的至少一个的物理特性；

传感器条件，例如，所述外部对象中的至少一个在主体的传感器视场中的位置；

所述外部对象的数量或密度；

两个所述外部对象之间的距离；

所述外部对象中的至少一个的截断级别；

对象中的至少一个的类型，以及

关于所述外部对象中的至少一个是否对应于来自所述模拟场景的较早时刻的任何外部对象的指示。

9.根据前述权利要求中任一项所述的计算机系统，所述计算机系统被配置为使用不同的混杂因素多次运行所述模拟场景，并且没有感知误差。

10.根据前述权利要求中任一项所述的计算机系统，其中，来自所述概率感知不确定性分布的采样是不均匀的并且偏向于较低概率的感知输出。