[发明专利]基于混合神经网络的博士招生指标预测模型与系统

说明书

一种用于预测高校博士招生指标的方法和系统。该方法基于深度学习理论，提出了一种新的预测模型CNN‑LSTM‑Attention混合神经网络模型对博士招生指标进行预测。该方法在LSTM层前添加一个CNN特征提取层，在LSTM层之后添加注意力机制层形成三层混合模型。该方法解决了现有模型影响因子确定复杂，模型使用期短，模型泛化能力弱，预测值与真实值误差较大等问题，提升了博士招生指标预测的准确率，并实现了博士招生指标预测系统供招生单位使用。

一、技术领域：

本发明涉及预测领域，涉及的具体内容为高校博士招生指标预测。

二、背景技术：

高校博士招生指标预测是招生单位为了减少招生指标二次分配的工作量而开展的工作。目前已有方法包括专家确定法、回归预测方法、选定影响招生数量的因子后使用人工智能方法学习招生数量和影响因子之间的关系方法和混合方法。

通过专家来预测招生计划的方法具有一定的权威性，但是因为整个过程有人为参与具有很强的主观性。回归方法可以在一定程度上预测博士招生数量的变化，它是建立在确定影响博士招生数量的因素的基础上的。但是因为影响博士招生数量的因素是多样且多变的，部分影响因素难以确定性进行描述，影响因子的确定过程很复杂并且随着时间的变化影响博士招生数量的因素会发生改变，所以一段时间后模型的预测效果就会大幅下降需要定期更新模型。使用SVM模型和时间序列模型等预测招生数量需要基于不同的高校分别确定模型，模型的泛化能力弱。使用神经网络模型将历史招生数据作为输入来预测博士招生数量的方法具有一定的泛化能力，但是因为只使用历史的博士招生数量数据输入神经网络进行预测，所以模型的预测误差比较大。

本发明提出CNN-LSTM-Attention混合神经网络模型方法，在这种方法中我们通过在LSTM层之前添加一个CNN特征提取层将二维数据转化为一维数据，在LSTM层后添加注意力机制层，以提升神经网络模型对博士招生指标预测的准确性，并基于此模型设计并实现一个易用的、可靠的、准确的博士招生指标预测系统，供招生单位或教育部门使用。

本发明包括(1)CNN-LSTM-Attention混合神经网络模型方法；(2)基于该方法实现的博士招生指标预测系统。

三、发明内容

(1)CNN-LSTM-Attention混合神经网络模型方法

现有的许多博士招生预测模型确定影响因子非常困难，而单一的神经网路模型存在泛化能力弱的问题，从而导致预测结果不理想。本发明方法将CNN、LSTM与注意力机制结合，形成一种基于混合神经网络的多变博士招生预测模型，有效地提升了高校博士招生指标预测的准确率。

图1展示了模型的整体结构图。模型分为三部分，第一部分为基于CNN的特征提取层，接收一个二维输入X_r×m＝[x₁，x₂，...，x_i...，x_r]，其中r是步长，m是模型输入样本的维度，输出一维数据。第二部分是基于LSTM的特征预测层，该层的输入是CNN层输出的时间序列数据，通过激活函数得到输出。第三部分是注意力机制层，该层接收来自LSTM层的输出，生成权重向量，第三部分的最后通过一个全连接层映射注意力机智的输出，得到最终输出结果

图2展示了模型的第一部分网络结构图。一个卷积层，一个池化层和一个全连接层，在卷积层使用 64个通道来检测输入数据的特征，在每个通道中生成一个卷积核，该卷积核对单个时间维度上的层输入使用ReLU激活函数进行卷积，同时在最大值池化层后使用dropout技术来防止出现过拟合现象。

ReLU激活函数的计算公式为：

ReLu(x)＝max(0，x) (1)

图3A展示了模型的第二部分网络结构图。其中每个LSTM单元中都是一个具有多个隐藏层的神经网络。