[发明专利]基于深度模型的传播预测方法及其系统

权利要求书

1.一种基于深度模型的传播预测方法，包括以下步骤：

1)数据预处理：

1.1)采集社交网络一段时间内的数据作为样本数据：

传播模型针对的是一个随时间变化的社交网络，因此使用微博、推特、微信的社交平台的网络数据；

1.2)处理网络数据，生成数据集并划分：

原始数据是用户的一些属性和用户之间的关系，需要将其转化为图的形式，将社交网络中的用户当做节点，用户属性即为节点特征，使用X_t这个矩阵来表示t时刻网络中所有节点的特征，其中每一行为一个节点的所有特征，列数代表特征维度，行数代表节点个数；用户之间的关系看做连边，即用户之间存在联系即有连边，没有联系则无连边；使用邻接矩阵A来表示，假定拓扑结构不发生变化，即该矩阵保持不变；经过处理得到数据集，然后经过划分得到训练集、测试集和验证集；

2)构建Seq2Seq模型，采用编码器-解码器的框架，其中编码器和解码器均由LSTM单元组成；编码器将输入的节点属性序列映射成一个固定长度的上下文向量C，这个存储着过去时刻的节点属性信息的上下文向量将会传给解码器，解码器根据传入的上下文向量来生成特点的向量序列，从而预测未来一段时间的节点属性，其中START向量是与节点属性向量维度相同的全零矩阵，用作解码器的初始输入向量；

将Seq2Seq模型应用于传播预测中，目的是提取传播过程的时间特性，其具体过程如下：

[h_t,c_t]＝LSTM₁(X_t,[h_t-1,c_t-1])，t＝1,2,...,T (1)

C＝[h_T,c_T], (2)

START＝zero(X), (3)

编码器中的LSTM单元用LSTM₁表示，前一时刻得到的隐藏层向量h_t-1，细胞层向量为c_t-1，然后将这两个向量与节点向量X_t一起输入到下一个LSTM单元中得到新的h_t和c_t，以此类推；编码器最后一个时刻为T,将h_T和c_T的集合用C表示；解码器中的LSTM单元用LSTM₂表示，与编码器不同的是，t+1时刻输入的与特征向量维度相同的全0向量，每个LSTM₂单元得到的隐藏层向量作为逻辑斯蒂分类器和全连接层的输入,逻辑斯蒂分类器和全连接层在模型构建的最后一部分进行说明；

3)嵌入GCN模型：

图卷积神经网络GCN是直接作用于图的卷积神经网络，GCN允许对结构化数据进行端到端的学习，通过学习网络的结构特征来对实现网络节点的特征提取；利用图卷积神经网络GCN来提取每个时刻的网络结构特征；

3.1)构建滤波器g_θ：

图的谱卷积定义为输入信号x与滤波器g_θ＝diag(θ)相乘，而为了解决大网络里拉普拉斯矩阵的特征分解的复杂度高得问题，利用切比雪夫多项式T_k(x)得K阶的截断展开来近似滤波器g_θ：

其中

表示一个经过调整的拉普拉斯矩阵，而

L＝I_N-D^-0.5AD^-0.5(8)

表示原来的拉普拉斯矩阵，A是用来表示社交网络中节点关系的邻接矩阵，D是A的度值矩阵，I_N是一个单位矩阵，λ_max是拉普拉斯矩阵L的最大特征值；θ_k定义为切比雪夫多项式的系数；切比雪夫多项式被递归的定义为

T_k(x)＝2xT_k-1(x)-T_k-2(x)(9)，

其中T₀(x)＝1，T₁(x)＝x；

3.2)对隐藏层状态和细胞层状态分别进行卷积操作：

引入GCN模型对细胞层状态和隐藏层状态进行图卷积运算，即将t时刻的LSTM的隐藏层向量h_t以及细胞层向量c_t分别作为两个GCN模型的输入，且利用滤波器g_θ对隐藏层向量h_t以及细胞层向量c_t进行卷积操作，将GCN模型输出的新隐藏层向量h～_t以及新的细胞层向量作为t+1时刻的LSTM单元的输入；

由于细胞层状态和隐藏层状态分别反映不同的信息，使用两个独立得到GCN模型分别对细胞层状态和隐藏层状态执行卷积运算；每个时刻LSTM的隐藏层向量h_t以及cell层向量c_t分别作为2个GCN模型的输入，与滤波器g_θ相乘，输出新的隐藏层向量以及新的cell层向量其中是对隐藏层向量做卷积操作的滤波器，是对细胞层向量c_t做卷积操作的滤波器；

将Seq2Seq模型中的LSTM₁单元和LSTM₂单元替换为嵌入GCN模型后的单元就实现了传播模型，具体过程为：

C＝[h_T,c_T],

START＝zero(X),

与Seq2Seq模型不同的是细胞层状态和隐藏层状态需要经过卷积操作再输入到下一个LSTM单元中；

加了GCN模型以后，整个模型就能同时实现对空间拓扑特征的提取和时序特征的提取，得到更为准确的节点隐藏层向量表示，后续的分类结果也会更加的准确；

此外滤波器和中都存在一个参数K，K是一个重要的超参数，决定了中心节点聚合几阶邻居节点的信息；

4)处理得到的隐藏层向量：

4.1)将隐藏层向量输入到逻辑斯蒂二分类器：

将每个LSTM₂单元得到的输入到逻辑斯蒂分类器得到分类结果，判定节点是否被激活；其中W_T为回归系数矩阵，σ为sigmoid函数；即用替代公式中的x，得到一个范围在0到1内的结果，再根据设定的阈值将其分为0类或1类，0类即节点未激活，1类即节点激活；

y＝σ(W_Tx)＝σ(w₀x₀+w₁x₁+…+w_mx_m) (15)

4.2)将隐藏层向量输入到全连接层中：

将隐藏层向量输入到全连接层中则得到未来一段时间的特征矩阵，预测节点特征的变化；全连接层的层数根据实际情况进行确定；

y^(m)＝σ_m(W^(m)y^(m-1)+b^(m)),m＝2,…,M (17)

其中M代表的是全连接层的层数，σ_m是第m层的激活函数；只有在第M层的时候激活函数取sigmoid函数，其余层的激活函数取ReLU函数，W^(m)和b^(m)为各层的权重和偏置；

ReLU＝max(0,x) (18)

需要注意的是最后一层的神经元个数需要与初始数据的维度相同，即把数据映射回原来的向量空间，这样才能看出节点特征的变化。

2.一种实施上述基于深度模型的传播预测方法的系统，其特征在于：包括：依次连接的数据预处理模块、Seq2Seq模型构建模块、GCN模型嵌入模块、隐藏层向量处理模块；

数据预处理模块采集社交网络一段时间内的数据作为样本数据，并且处理网络数据，生成数据集并划分：原始数据是用户的一些属性和用户之间的关系，需要将其转化为图的形式，将社交网络中的用户当做节点，用户属性即为节点特征，使用X_t这个矩阵来表示t时刻网络中所有节点的特征，其中每一行为一个节点的所有特征，列数代表特征维度，行数代表节点个数；户之间的关系看做连边，即用户之间存在联系即有连边，没有联系则无连边；使用邻接矩阵A来表示，假定拓扑结构不发生变化，即该矩阵保持不变；经过处理得到数据集，然后经过划分得到训练集、测试集和验证集；

Seq2Seq模型构建模块包括编码器和解码器；编码器由多个LSTM单元相连而成，编码器负责将输入序列压缩成指定长度的向量，这个向量看做这个序列的语义向量C；获取语义向量在这里采用对最后一个隐含状态做一个变换的方式；解码器也是由多个LSTM单元相连而成，解码器负责根据语义向量生成指定序列，在这里语义向量只参与初始时刻的运算，语义向量也参与序列所有时刻的运算；

GCN模型嵌入模块包括滤波器构建子模块和卷积操作子模块；滤波器构建子模块构建滤波器g_θ，利用切比雪夫多项式T_k(x)得K阶截断展开来近似滤波器g_θ；卷积操作子模块对隐藏层状态和细胞层状态分别进行卷积操作：引入GCN模型对细胞层状态和隐藏层状态进行图卷积运算，即将t时刻的LSTM的隐藏层向量h_t以及细胞层向量c_t分别作为两个GCN模型的输入，且利用滤波器g_θ对隐藏层向量h_t以及细胞层向量c_t进行卷积操作，将GCN模型输出的新隐藏层向量以及新的细胞层向量作为t+1时刻的LSTM单元的输入；

隐藏层向量处理模块将LSTM单元得到的隐藏层向量输入到逻辑斯蒂分类器中，判定节点是否被激活；将隐藏层向量输入到一个全连接层中，实现节点属性的预测。