[发明专利]基于分层强化学习的慕课课程推荐系统方法

权利要求书

1.一种基于分层强化学习的慕课课程推荐方法，其特征在于，包括以下步骤：

S1：数据预处理：从慕课数据集(MOOCCubeX)中获取数据，其中必要数据为课程信息、课程所属领域/学科、学生档案，其中学生档案中需要数据为学生编号(id)，课程注册顺序，在必要基础上可以增加其他数据来建立更完善的数据集(如学校信息、课程内容等)，为推荐系统提供更详实的数据。

S2：分层强化学习数据：对数据建立分层强化学习进行处理，通过两个不同的智能体(agent)来判断是否对学生的课程注册信息进行删改，高层agent为是否删减学生的课程注册信息；低层agent判断从注册信息中删除学生具体课程，以减少其对推荐系统结果的干扰，之后将处理过的学生课程注册信息作为数据集。

S3：分层强化学习推荐：使用两层不同的agent训练模型，高层次的agent负责预测推荐课程所属的领域/学科；低层次的agent则接收领域/学科，在预测的领域/学科约束下对课程进行预测，这样可以在很大程度上规避热门领域课程推荐概率过大的问题，显著提高系统推荐准确率。

2.根据权利要求1所述的基于分层强化学习的慕课课程推荐系统方法S2步骤，其特征在于：分层强化学习数据将数据处理任务分成两部分，首先需要预训练一个基本推荐模型，其中高层强化学习负责判断目标学生的选课信息是否需要修改，在高层判断需要修改的基础上，低层强化学习判断目标学生的某一具体课程是否需要删除；将删除后的选课历史信息输入基本推荐模型，通过修改前后基本推荐模型正确率之差获得奖励，并将其反馈给分层强化学习数据，我们使用修改后的数据进行分层强化学习推荐的训练。

3.根据权利要求1所述的基于分层强化学习的慕课课程推荐系统方法S3步骤，其特征在于：分层强化学习推荐将课程推荐任务分成两部分，其中高层强化学习负责生成预测课程所属领域，低层强化学习负责生成预测的目标课程，首先设计高层奖励和动作(action)，其中高层agent与环境交互，通过当前状态得到预测课程所属领域；之后在其基础上设计低层奖励和action，低层agent在高层预测的结果的约束下进行预测，用来预测推荐课程，将推荐结果反馈给环境，环境通过两个奖励函数反馈奖励给高层与低层agent，高层与低层agent更新自己策略，直到训练结束，在我们的推荐系统方法中，低层agent的输出是我们推荐系统的最后结果。

4.一种基于分层强化学习的慕课课程推荐系统方法，包括：

强化学习数据模块，用于生成合适的用户数据与课程数据，在进行强化学习数据之前需要筛选出符合课程推荐要求的用户课程信息(即课程条目丰富)，其余合弃，随后通过分层强化学习算法来获得所需要的用户与课程信息，用来构建数据集。

强化学习推荐模块，通过两层agent与环境交互学习，通过设计的合理奖励与行为训练两层不同的agent；其中低层agent在高层限制了预测领域的情况下对课程预测，得到课程推荐系统结果。