[发明专利]基于异构图学习融合学习参与状态的知识追踪方法

权利要求书

1.一种基于异构图学习融合学习参与状态的知识追踪方法，其特征在于由下述步骤组成：

(1)获取训练数据集

在公共数据集Assistment2009中选取答题数量大于3题的学生，分为测试集和训练集，训练集与测试集的比为4∶1，学生i的答题序列X_i为：

其中，为学生i在时刻t的回答问题，为学生i在时刻t回答问题的知识点，为学生i在时刻t回答问题的正确与否，t∈[4，200]；

(2)构建问题知识点二部图

问题知识点二部图G的结构如下：

问题知识点二部图G由知识点集合C{c₁，c₂，…，c_γ}、问题集合Q{q₁，q₂，…q_β}、边集合R{r₁，r₂，…，r_z}连接构成，知识点c₁分别通过边r₁、边r₂、边r₃与问题q₁、q₂、q₃相连，知识点c₂分别通过边r₄、边r₅与问题q₃、q₄相连，知识点c_γ分别通过边r_z-1、边r_z与问题q_β-1、q_β，相连，β取值为5000～20000，γ取值为50～200，z取值为100～20000；

按下式构建问题知识点二部图G：

G＝(Q，C，R)

其中，Q表示问题集合，C表示知识点集合，Q∪C构成二部图的顶点，R表示问题集合Q与知识点集合C连接的边集合；

(3)构建知识追踪模型

知识追踪模型由自适应异构图学习模块(1)、知识状态编码模块(2)、学习参与状态编码模块(3)、学生答题情况预测模块(4)构成，自适应异构图学习模块(1)的输出分别与知识状态编码模块(2)、学习参与状态模块(3)的输入相连，知识状态编码模块(2)、学习参与状态编码模块(3)的输出与学生答题情况预测模块(4)相连；

(4)生成问题张量和知识点张量

采用自适应异构图学习模块(1)生成问题张量和知识点张量，自适应异构图学习模块(1)由skip-gram网络构成，采用自适应随机游走方法将二部图G按式(2)转换为文本序列S：

S＝F(G，l，P) (2)

l＝2μ+2

P＝(Q，C，Q)，

其中F()表示定义在图上的随机游走函数，P表示在二部图G上进行随机游走的元路径，l为二部图G中每个顶点进行随机游走的长度，μ表示二部图G中平均每个问题相连的知识点的个数，|Q|、|C|分别表示问题集合Q、知识点集合C的势；将文本序列S输入skip-gram网络进行训练，滑动窗口大小设置为5，负采样个数为5，每个顶点的向量表示的维度为150，迭代次数为5次，训练时使用的线程数为24，得到张量W_g；将张量W_g按式(4)、(5)分别得到问题张量W_q、知识点张量W_c：

W_q＝W_g[：|Q|] (4)

W_c＝W_g[|Q|：] (5)

其中，[：]表示张量截取操作；

(5)编码学生知识状态

采用知识状态编码模块(2)对学生的知识状态进行编码，所述知识状态编码模块(2)由多头注意力机制网络构成，按式(6)编码生成学生知识状态x_t：

其中，τ∈[1，t)表示该学生时间步t之前的答题记录，α_t，τ表示时刻t所回答的问题与时刻τ回答问题的相关度，exp(·)表示指数函数e^x，θ表示学生的遗忘速率，|t-τ|表示时刻t与时刻τ之间的时间间隔，v_τ、k_τ分别表示时刻τ注意力机制中的值向量、键向量，s_t表示时刻t注意力机制中的查询向量，k_τ′表示时刻τ′注意力机制中的键向量，τ′∈[1，τ)表示该学生时间步τ之前的答题记录，W_v、W_s、W_k分别表示注意力机制中的值变换矩阵、查询变换矩阵、键变换矩阵，m、b、b′取值为有限正整数，[，]表示向量拼接操作，为时刻τ回答的知识点的向量，为时刻t回答问题的向量，为时刻τ′回答的知识点的向量，d_m为向量s_t的维度，a_τ表示时刻τ学生回答的向量，a_τ′表示时刻τ′学生回答的向量；

(6)编码学生学习参与状态

采用学习参与状态编码模块(3)对学生的学习参与状态进行编码，所述学习参与状态编码模块(3)由全连接网络FC与多头注意力机制网络串联构成，编码学生学习参与状态e_t按式(7)进行：

v′_τ＝W′_v×[l_τ，p_τ]

s′_t＝W_s′×[l_t，p_t]

k′_τ＝W′_k×[l_τ，p_τ]

k′_τ′＝W′_k×[l_τ′，p_τ′]

其中，τ∈[1，t)表示该学生时间步t之前的答题记录，α′_t，τ表示时刻t答题时的参与状态与时刻τ答题时的参与状态的相关度，v′_τ，k′_τ分别表示时刻τ注意力机制中的值向量、键向量，s′_t表示时刻t注意力机制中的查询向量，k′_τ′表示时刻τ′注意力机制中的键向量，τ′∈[1，τ)表示该学生时间步τ之前的答题记录，W′_v、W_s′、W′_k分别表示注意力机制中的值变换矩阵、查询变换矩阵、键变换矩阵，d_e表示向量s′_t的维度，[，]表示向量拼接操作，l_τ、l_t分别表示t时刻和τ时刻的参与状态的特征融合向量，l_τ′表示τ′时刻的参与状态特征融合向量，FC为全连接网络，分别为时刻t、时刻τ回答的问题向量，表示τ′时刻回答的问题向量，o_t表示t时刻参与状态的初始特征向量，o_τ表示τ时刻参与状态的初始特征向量，o_τ′表示τ′时刻参与状态的初始特征向量，p_τ表示τ时刻位置嵌入向量，p_τ′表示τ′时刻位置嵌入向量，p_t表示t时刻位置嵌入向量；

(7)预测学生答题情况

采用学生答题情况预测模块(4)预测学生的答题情况，所述学生答题情况预测模块(4)由多层感知机σ构成，将步骤(5)、步骤(6)编码的知识状态x_t和参与状态e_t输入多层感知机σ预测学生在t时刻的答题情况，预测值y_t由下式确定：

y_t＝W_o×[x_t，e_t]×w′_o

其中，W_o为多层感知机σ的第一层权重矩阵，m′，n′取值为有限正整数，w′_o为多层感知机σ的第二层权重矩阵，x_t、e_t分别表示t时刻的知识状态和学习参与状态，[，]表示向量拼接操作；

(8)训练模型

按下式确定模型的损失函数L：

其中，n为数据集中学生的数量，n取值为有限的正整数，为模型的预测值，为学生在ε时刻的真实回答值；

使用训练集对知识追踪模型进行训练，自适应异构图学习模块(1)中skip-gram网络的滑动窗口大小设置为5，负采样个数为5，每个顶点的向量表示的维度为150，知识状态编码模块(2)中多头注意力机制的头个数为5，学习参与状态编码模块(3)中多头注意力机制的头个数为5，进行特征融合的全连接网络FC层数为1，神经元个数为100，学生答题情况预测模块(4)中的多层感知机的层数为1；训练时每次送入知识追踪模型数据量为64，知识追踪模型迭代次数为200，学习率为0.01；知识追踪模型通过对损失函数L进行反向传播，不断优化知识追踪模型中每个模块的权重参数，完成对知识追踪模型的训练；

(9)测试模型

将训练后的知识追踪模型在测试集上逐一预测每个学生在每个时刻的答题情况，直到预测完测试集上所有学生的答题情况，完成知识追踪模型的测试。