[发明专利]基于分层强化学习的慕课课程推荐系统方法

说明书

本发明提出一种基于分层强化学习的慕课课程推荐系统方法，属于强化学习教育领域；其中强化学习数据模块使用分层强化学习对学生历史选课信息进行处理，通过两层智能体共同判断目标学生选课信息是否需要修改，极大地减少了无关课程对推荐系统结果的干扰，为课程推荐系统提供了更好的数据处理方式；强化学习推荐模块使用分层强化学习进行课程推荐，将课程推荐任务分成两部分，使用两层智能体共同推荐预测目标课程，能够很大程度上规避热门领域课程推荐概率过大的问题，提高推荐系统准确率，并提供了新的慕课课程推荐系统的思路与方法。

技术领域

本申请涉及强化学习教育领域，具体而言，涉及一种基于分层强化学习的课程推荐系统方法.

背景技术

大数据时代，网络上海量的信息会导致信息过载，这使决策者很难做出正确的决策.日常生活中，我们在网络商店面对一长串的商品清单，我们会意识到清单中的商品越多，我们进行选择就越困难.推荐系统是一种工具和算法，其理念是通过预测用户的偏好或对项目的评级，帮助用户找到他们感兴趣的项目.如今在教育领域，大规模在线开放课程(MOOCs)作为一种新兴的教育模式正引起广泛关注，它们为学生提供了来自世界顶级大学的课程.随着慕课平台课程的激增，为用户提供课程推荐系统也愈发重要.

解决课程推荐问题有多种方法，传统技术包括协同过滤、内容过滤和混合方法等.尽管这些方法在提供相关推荐方面取得了一定的成功，但是这些方法都存在严重的问题，如冷启动、缺乏多样性、可扩展性差、推荐质量低、计算量大.近年深度学习在推荐系统领域有很大进步，因为它能够发现用户和项目之间的复杂和非线性关系，在解决复杂任务和处理复杂数据方面表现出强大的优势.但是由于分布的转移，基于深度学习的推荐系统在捕获兴趣动态方面存在局限性，即训练阶段基于现有数据集，可能无法反映快速变化的真实用户偏好.相比之下，深度强化学习在通过结合深度学习和强化学习的，训练智能体(agent).深度强化学习(DRL)中的agent可以主动从用户的实时反馈中学习，从而推断出动态的用户偏好.

发明内容

为了解决上述问题，本发明的目的是提供一种基于分层强化学习的慕课课程推荐系统，实现根据输入学生的历史的课程注册信息，使用分层强化学习数据对其进行修改，之后使用分层强化学习推荐推荐新课程，以提升学生学习效率与兴趣.基于分层强化学习的课程推荐系统主要包括以下步骤：

1.数据预处理：本方法基于公开数据集，其中慕课数据集(MOOCCubeX)包含4，216门课程、230263个视频、358265个练习和超过2330294名学生的2.96亿个原始行为数据.每个学生数据都包含学生ID、学校、课程注册顺序等，筛选其中课程注册经历丰富(大于等于5)的学生.同时将学生数据、学生观看视频、课程评论等行为进行整合处理，将课程编号(ID)、课程所属领域/学科、课程资源(视频、练习)等信息进行整合处理.

2.分层强化学习数据：首先使用学生课程注册信息作为数据集，学生注册的最后一门课程作为预测目标，训练一个拥有注意力机制的基本推荐模型(NAIS).之后我们将数据分层强化学习公式化为两级马尔可夫决策过程(MDP)，修改NAIS模型预测错误的学生的课程注册信息.

首先对高层强化学习定义，其中主要为动作，状态，奖励.动作是agent反馈给状态的行为；状态是agent交互所处的环境，并且会根据agent的动作来更新状态；奖励奖励是一个信号，表明所执行的行为是否合理，环境根据奖励函数给agent动作反馈，agent通过奖励来更新自己的策略.

强化学习数据处理首先由高层agent判断是否修改学生课程注册信息.高层agent的动作为是否修改课程信息，将其设置为二进制，0为不修改，1为修改；将学生最后选课记录作为目标课程，其余选课记录作为历史课程注册信息.状态为学生历史课程注册信息与目标课程嵌入向量余弦相似度，嵌入向量由预训练的基本推荐模型(NAIS)提供，这样可以有效表示第i历史课程与目标课程的相关性.计算余弦相似度公式：