[发明专利]使用上下文信息进行蒙特卡罗规划的方法和系统

摘要

本发明涉及一种使用上下文信息进行蒙特卡罗规划的方法和系统。提供了用于选择规划问题状态下的操作的方法、系统和计算机程序产品。所述系统从所述规划问题的当前状态开始模拟一个或多个系列的操作、状态转变和回报。在模拟在给定状态下执行给定操作期间，维护包括由所述操作产生的所观察的上下文状态信息和所观察的累积回报的数据记录。所述系统针对所述数据记录执行回归拟合，从而能够根据上下文状态估计预期回报。所述预期回报的估计用于在所述模拟期间指导操作的选择。在完成所有模拟时，推荐在模拟期间获得最高平均回报的顶级操作，以便在所述规划问题的当前状态下执行。

主权项

一种用于选择规划问题状态下的操作的方法，所述方法包括：在所述规划问题状态的模拟模型中运行多个模拟试验，所述模拟试验包含在所述状态下导致模拟回报结果的至少一个可用顶级操作；响应于在所述模拟试验中获得的所述模拟回报结果，在完成所述模拟试验时推荐要在所述规划问题状态下执行的操作，其中所述模拟试验中的至少一个模拟试验执行一个或多个步骤，所述步骤包括：观察模拟状态下的上下文状态信息；以及响应于所观察的上下文状态信息而选择所述模拟状态下的可用操作；其中包括至少一个处理器和连接到所述处理器的至少一个存储设备的计算系统执行所述运行、推荐、观察和选择。