[发明专利]利用强化学习实现的排班规划的方法和系统

权利要求书

1.利用强化学习实现的排班规划的方法，其特征在于：包括如下步骤：

S1、需要实现对企业门店和员工进行可视化的动态管理，其中门店信息包括销量数据、门店信息、商圈信息、天气信息；

S2、根据各门店的销量预测数据利用强化学习寻找最优的排班方案、招聘和培养计划，最后将排班方案与企业业务系统对接，可以对门店进行直接的工作指导，在完成以上的排班规划的基础上，可以通过数据反馈进行自动化的迭代优化。

2.根据权利要求1所述的利用强化学习实现的排班规划的方法，其特征在于，所述员工中员工信息包括员工基础信息、员工岗位、员工级别、员工状态、员工技能、从业次数、工资水平、休假安排和工作时长。

3.根据权利要求1所述的利用强化学习实现的排班规划的方法，其特征在于，所述实现对企业门店和员工进行可视化的动态管理，利用地理信息GIS技术将企业门店相关数据实现可视化上图，同时将现有的员工数据也完成上图，实现资源的网格化管理。

4.根据权利要求1所述的利用强化学习实现的排班规划的方法，其特征在于，所述强化学习寻找最优的排班方案、招聘和培养计划；

当在其环境中做出每个动作时，就会提供奖励或惩罚信息，以表示结果状态的正确与否，利用强化学习将各个门店的人员未来的需求与现有资源进行合理安排和规划，对空缺的岗位的招聘和培养计划做出合理预测。

5.根据权利要求4所述的利用强化学习实现的排班规划的方法，其特征在于，所述强化学习寻找最优的排班方案，强化学习按照以下的步骤实现：

S1、结构化网店、员工相关信息，定义系统状态；

S2、定义强化学习的Agent，根据Q函数值和控制策略来选择动作，并根据该动作对应的权值组合进行计算，选择最小成本的人员派给门店；

S3、定义报酬函数，通过报酬函数对排班动作给出一个正确的评价信息，报酬函数的定义与调度优化的目标函数直接或间接相关；

S4、泛化与逼近，将所有状态一动作对的Q值存放在一张二维的Q表中，其值在每个时间步被修改一次，Q表作为动作选择的依据，而动作选择的策略则是选取当前状态下具有最大Q值的动作，通过对所有状态或动作进行遍历寻找到最佳的方案；

S5、仿真测试，通过计算机仿真来验证学习算法解决排班问题的有效性。

6.根据权利要求4所述的利用强化学习实现的排班规划的方法，其特征在于，所述排班方案与企业业务系统对接，对接方案支持多种CRM系统以及ERP系统，对接的接口支持RPC和RESTFUL模式，并且提供APP端支持，可以将排班规划同步到业务系统，同时也能将业务数据进行及时的反馈。

7.根据权利要求4所述的利用强化学习实现的排班规划的方法，其特征在于，所述数据反馈进行自动化的迭代优化，根据实际的门店排班情况计算成本和合理性，反馈到系统进行模型的自适应优化。

8.一种利用强化学习实现的排班规划的系统，其特征在于，根据利用强化学习实现的排班规划的方法所生成的系统。