[发明专利]用于在线共享出行平台的统一订单派发和车队管理

说明书

可以将分层多代理增强学习用于共享出行平台的统一订单派发和车队管理。可以获得信息。该信息可以包括共享出行平台的状态和一组消息。可以将所获得的信息输入到训练的分层增强学习(HRL)模型中。训练的HRL模型可以包括至少一个对应于地区的管理者模块，并且至少一个管理者模块可以包括一组工作者模块，每个工作者模块对应于该地区的辖区。可以基于共享出行平台的状态和该组消息来获得该地区中的辖区的至少一个目标。可以基于乘车共享平台的状态、该组消息和至少一个目标为该地区中的辖区中的每个车辆生成车辆动作。

相关申请交叉引用

本申请要求2019年12月19日提交且标题为“用于在线共享出行平台的统一订单派发和车队管理”的美国非临时性专利申请16/720,676以及2019年2月26日提交且标题为“搭乘订单派发的系统和方法”的美国临时性专利申请62/810,860的优先权。美国非临时性专利申请16/720,676要求美国临时性专利申请62/810,860的优先权。上述专利申请通过引用整体并入本文。

技术领域

本公开一般涉及基于分层多模块增强学习的在线共享出行平台内的订单派发和车队管理的统一决策任务。

背景技术

在线共享出行平台可以通过共享和重新分配运输资源以促进运输效率来实质性地改变日常生活。共享出行平台可以执行两个决策制定任务。第一任务可以包括订单派发。订单派发可以包括将来自乘客的订单与可用车辆(即驾驶员)实时匹配来直接交付服务。第二种决策制定任务可以包括车队管理。车队管理可以包括预先将车辆重新定位到某些区域，以对后来的命令派发做准备。

例如，在处理大量订单和车辆时，互连订单派发和车队管理可能存在很大技术难题。一种解决途径是将每个可用车辆作为代理建立模型。然而，对于这种解决途径，该平台必须维持与环境交互的数千个代理，从而产生巨大的计算成本。寻求最优控制策略的一个关键性难题是在即时和将来的酬劳(例如，累计驾驶员收入)之间找到权衡。将车辆以贪婪的方式与长途订单相匹配可能在单个订单派发阶段获得高即时收益，但可能会有损于订单响应速率(order response rate，ORR)。在高峰时段期间，此问题可能更加突出，因为这些行程可能具有长驾驶时间并结束于不受欢迎的目的地。

发明内容

本说明书的多种实施例包括但不限于用于搭乘订单派发的系统、方法和非暂时性计算机可读介质。

在多种实施方式中，一种方法可以包括获得信息。所获得的信息可以包括共享出行平台的状态和一组消息。该方法还可以包括将所获得的信息输入到训练的分层增强学习(hierarchical reinforcement learning，HRL)模型中。训练的分层增强学习(HRL)模型可以包括对应于地区的至少一个管理者模块，并且该至少一个管理者模块可以包括一组工作者模块，每个工作者模块对应于该地区中的辖区。该方法还可以包括基于共享出行平台的状态和一组消息来获得该地区中的辖区的至少一个目标。该方法还可以包括基于共享出行平台的状态、该组消息和至少一个目标以在地区中的辖区中为每个车辆生成一组车辆动作。

在本公开的另一方面，一种计算系统可以包括一个或多个处理器和一个或多个非暂时性计算机可读存储器，该一个或多个非暂时性计算机可读存储器耦合到所述一个或多个处理器且配置有由所述一个或多个处理器可执行的指令。执行指令可以使系统执行多个操作。这些操作可以包括获得信息。所获得的信息可以包括共享出行平台的状态和一组消息。这些操作还可以包括将所获得的信息输入到训练的分层增强学习(HRL)模型中。训练的分层增强学习(HRL)模型可以包括对应于地区的至少一个管理者模块，并且该至少一个管理者模块可以包括一组工作者模块，每个工作者模块对应于该地区中的辖区。这些操作还可以包括基于共享出行平台的状态和一组消息来获得该地区中的辖区的至少一个目标。这些操作还可以包括基于共享出行平台的状态、该组消息和至少一个目标在地区中的辖区中为每个车辆生成一组车辆动作。