[发明专利]一种基于深度知识跟踪与强化学习的学习路径优化方法

说明书

本发明公开了一种基于深度知识跟踪与强化学习的学习路径优化方法，属于自适应学习领域；具体为：针对某个学生，选择所有未学的以及没有先修的知识点作为待选知识点；利用历史学习的知识点进行one‑hot编码，输入到DKT模型中，输出各待选知识点的掌握水平预测值。然后，选择预测结果最高的知识点K推荐给学生学习；学习过程使用知识点内的学习路径优化算法实现；在当前知识点K学习通过之后，判断是否有后续知识点，如果有，将后续知识点加入待选知识点集合，并将当前知识点K移出；否则，直接将当前知识点K移出，选择下一个知识点重新预测和学习，直至待选知识点集合为空。本发明可以大幅提高推荐精度，在获得同等学习效果的情况下效率有所提高。

技术领域

本发明属于自适应学习领域，具体是一种基于深度知识跟踪与强化学习的学习路径优化方法。

背景技术

在自适应学习过程中，要解决的关键问题之一是根据学生的知识点掌握水平为其推荐一条最适合的学习路径，以获得最佳的学习效率与效果为目标。

学习路径推荐包括知识点之间的学习路径推荐和知识点内的学习路径推荐。

对于知识点之间的学习路径推荐，目前最常用的是概率图模型技术，具体实现过程是采用概率图模型的马尔可夫网络，对单个学习者的单个知识点掌握度进行跟踪；然后，再采用概率图模型的贝叶斯网络，根据学习者已学知识点的掌握度预测未学知识点的掌握度，从而提供个性化学习路径推荐，并预测学习者的薄弱知识点。比如Knewton、松鼠AI或VIPKID等大多数自适应学习系统都采用这种技术，实现个性化学习路径推荐。但是，上述方法需要对领域知识(例如：测试题目的难度、区分度、所属知识点等)进行标注，且不能综合分析学习者当前整体的知识状态及过去的学习表现，推荐性能表现一般。

对于知识点内的学习路径推荐，目前最常用的是协同过滤算法和遗传算法，协同过滤算法是个性化推荐系统中最常用的推荐算法，其基本思想是根据学习者对学习资源的评分矩阵，通过相似度算法找到最邻近的资源或用户，根据最邻近资源或用户来预测未评分的目标学习资源，依据预测结果向学习者推荐较为准确的学习资源。

如Knewton采用协同过滤算法从学习者的学习目标、认知结构及学习投入度出发，快速定位学习者所需信息，为学习者未来的学习呈现最优的学习内容。遗传算法是进化算法的一种，依据初始种群经过一系列操作，抽取出用户的偏好属性值，以此进行学习资源的推荐。松鼠AI在跟踪分析学习数据的基础之上，运用遗传算法为学习者在全局范围内推荐合适的学习资源。但是，上述两种算法都是以满足用户偏好为推荐目标，不以获得最佳的学习效率和效果为目标，而学习是一个痛苦的过程，只有付出努力后获得较高的学习回报，才能持续激励学生产生学习动力。

知识追踪是对学生的知识基于时间进行建模，以便精确预测学生对于下一时刻知识点的掌握程度。深度知识追踪算法(Deep Knowledge Tracing，简称DKT)是基于深度神经网络LSTM(Long Short-Term Memory,长短期记忆网)建立的知识追踪模型，并使用用户历史学习数据训练出知识点掌握度预测模型，根据训练出的模型预测估计学生的知识点掌握水平。

强化学习主要包含四个元素，智能代理，环境状态，动作和奖励。智能代理选择一个动作用于环境，环境接受该动作后状态发生变化，同时产生一个强化信号(奖或惩)反馈给智能代理，强化学习的目标就是获得最多的累计奖励。使用强化学习算法根据学生“做对试题”或“做错试题”的动作，更新学生知识点掌握状态并根据目标掌握状态建立奖励机制，从而建立知识点的试题与学习内容的推荐策略，使学生能高效地达到知识点目标掌握度。

现有技术中，深度知识追踪具有较强的感知能力感知学生当前的学习状态，但缺乏一定的决策能力；而强化学习具有决策能力，但缺乏对状态的感知能力。使用深度知识追踪的感知能力和强化学习的决策能力相结合，深度知识追踪感知学生的学习状态，强化学习根据感知的学习状态以获得最佳的学习效率和效果目标为导向进行决策，可以获得性能最优的学习路径推荐效果。

发明内容