[发明专利]基于多智能体强化学习的信贷工厂订单调度方法及装置

说明书

本申请涉及一种基于多智能体强化学习的信贷工厂订单调度方法及装置。该方法包括：多智能体将行动发送至环境；环境计算出所述多智能体共享的状态以及各个智能体的奖励；环境将所述多智能体共享的状态以及各个智能体的奖励发送至对应的各个智能体；各个智能体根据收到的状态以及奖励选择行动；其中，所述多智能体依次处理所述信贷工厂订单。本申请能够缩短订单审批时间，实现信贷工厂的智能化调度管理；能够使得信贷工厂可以在动态环境下制定出科学合理的调度方案，极大的增强了信贷工厂中订单调度的抗干扰能力。

技术领域

本发明涉及大数据处理领域，尤其涉及一种基于多智能体强化学习的信贷工厂订单调度方法及装置。

背景技术

近年来消费信贷在中国取得了巨大的成功。消费金融公司需要审批客户提交的贷款订单，然后确定是否授予贷款。信贷工厂是加速贷款审批的重要手段。消费信贷的特点是额度小，频率高。考虑到消费信贷的这些特征，许多公司引入了信贷工厂模式。信贷工厂是新加坡淡马锡集团发明的一种新型贷款审批模式。信贷工厂模式已被包括中国银行，中国建设银行和招商银行在内的多家金融机构采用。类似于工厂流水线，信贷工厂将信贷审批分为几个流程，并为每个流程制定标准化的操作。信贷工厂通过引入流程标准化来提高信贷审批流程的效率。

信贷工厂中的一个关键部分是信贷工厂订单调度。合理的信贷工厂订单调度可以大大减少申请时间。在金融公司中（如银行、保险或信托等领域），时间对客户来说非常宝贵。同时时间也是成本，减少贷款申请时间意味着降低成本。因此，信贷工厂订单调度可以增强公司的成本优势并提高贷款审批效率。

强化学习是优化序贯决策问题的强大工具。现有技术中存在采用多智能体强化学习（MARL）来解决车间调度问题，该算法实现了分散调度，可用于未知情况而无需重新训练，但该工作中每个作业的到达时间和处理时间是已知的，相比之下，到达时间和处理时间未知的信贷工厂订单调度则更为复杂。

尽管已经有不少工作进行了MARL算法在订单调度问题中的应用研究，但是对于具有多机器、多过程、随机到达时间和处理时间等特点的大规模实时订单调度问题还没有成熟的技术方案。

发明内容

有鉴于此，本申请提出了一种基于多智能体强化学习的信贷工厂订单调度方法及装置，以提高信贷工厂订单处理效率。

根据本申请的一个方面，提出了一种基于多智能体强化学习的信贷工厂订单调度方法，该方法包括：

多智能体将行动发送至环境；

环境计算出所述多智能体共享的状态以及各个智能体的奖励；

环境将所述多智能体共享的状态以及各个智能体的奖励发送至对应的各个智能体；

各个智能体根据收到的状态以及奖励选择行动；

其中，所述多智能体依次处理所述信贷工厂订单。

优选地，所述多智能体的数量为多个（如4个），所述环境为信贷工厂。

优选地，所述行动为选择的调度规则。

优选地，所述调度规则为、先到先服务、最短松弛时间、最早截止时间、以及后到先服务中的一者，其中松弛时间为截止时间与到达时间之差。

优选地，所述环境根据下述步骤计算奖励：

环境计算，其中为在状态s下采取动作a的衡量指标，为第t步信贷工厂订单的平均等待时间，为第t步信贷工厂订单的超时率；

环境将 与状态s下的平均衡量指标相关的参数进行比较，并根据比较结果给出奖励。

优选地，所述环境根据如下步骤分配奖励：

获取各个智能体处理信贷工厂订单的松弛时间；至少获取各个智能体中信贷工厂订单的输入时间、结束时间和等待时间；