[发明专利]一种基于注意力机制的网络舆情事件演化趋势预测方法

权利要求书

1.一种基于注意力机制的网络舆情事件演化趋势预测方法，其特征在于，包括以下步骤：

S1、从基于Web的研究型推荐系统下载或者利用社交平台的公共API获取原始数据；

S2、对于获取的数据进行预处理，并去除数据中的噪声和冗余数据，提取在信息传播过程中用户之间的注意力；

S3、通过改造GRU时间维度模型融合注意力，获取基于注意力机制的GRU模型；基于注意力机制的GRU模型包括：

f_i＝σ(W_fx_i+v_fd_i+b_f)

r_i＝σ(W_rx_i+v_rd_i+b_r)

其中，x_i为当前时间的输入的用户的嵌入向量，tanh和σ为激活函数；

W_f、W_r、W_ih为权重参数，b_f、b_r、b_h为偏差参数；r_i为更新门；f_i为重置门；h_i为隐含状态向量；为候选隐含状态，v_f、v_r、v_c为权重参数矩阵，⊙表示按元素乘法；d_i表示当前用户的注意力；

S4、利用历史数据通过时间反向传播算法对基于注意力机制的GRU模型进行训练，在训练过程中最小化损失函数，训练参数通过使用小批量的Momentum优化器来更新；

S5、将待预测的数据输入训练好的基于注意力机制的GRU模型，即可输出预测信息下一阶段可能传播的用户。

2.根据权利要求1所述的一种基于注意力机制的网络舆情事件演化趋势预测方法，其特征在于，提取在信息传播过程中用户之间的注意力包括：

将用户向量化，第i个用户的向量表示表示为其中u_i为在时间t_n输入的信息传播序列中的第i个用户的原始表示，d为向量的维度；

利用用户的嵌入向量来计算信息传播过程中用户之间的注意力得分，并根据该注意力得分获得用户的注意力权重，第j个用户的注意力权重表示为：

其中，w_kj为第k个用户的注意力得分，x_k为第k个用户的嵌入向量，ELU为激活函数。

3.根据权利要求2所述的一种基于注意力机制的网络舆情事件演化趋势预测方法，其特征在于，第i个用户的嵌入向量x_i通过将第i个用户的向量表示输入全连接层获得，表示为：

x_i＝ELU(W_xe_i+b_x)；

其中，W_x、b_x为可学习的参数。

4.根据权利要求2所述的一种基于注意力机制的网络舆情事件演化趋势预测方法，其特征在于，当前用户的注意力得分取决于在当前用户之前传播的历史用户，当前用户j的注意力得分表示为：

其中，,为内积符号，为可学习的权重参数矩阵。

5.根据权利要求1所述的一种基于注意力机制的网络舆情事件演化趋势预测方法，其特征在于，在对基于注意力机制的GRU模型的训练过程中，使用交叉熵作为损失函数为：

其中，为损失函数，p(u_i|h_i)、分别代表真实的标签和预测结果。

6.根据权利要求5所述的一种基于注意力机制的网络舆情事件演化趋势预测方法，其特征在于，用户u_j+1接收传播轨迹中事件的概率p(u_j+1|h_i)表示为：

p(u_j+1|h_j)＝softmax(W_ph_i+b_p)

其中，W_p、b_p为权重参数矩阵，p(u_j+1|h_i)为用户u_j+1接收传播轨迹中事件的概率。