[发明专利]一种基于自注意力机制的IP场景预测方法

权利要求书

1.一种基于自注意力机制的IP场景预测方法，其特征在于：

获取IP原始数据及其原始特征；

利用自注意力机制从所述原始特征中获取高阶交叉特征；

将高阶交叉特征与原始数据结合，构造一个新的样本数据；

以原始数据和新的样本数据为输入，分别训练一个全连接网络，两个全连接网络分别根据输入得到各自的预测结果，根据二者输出的结果获取最终的IP场景预测结果。

2.根据权利要求1所述的基于自注意力机制的IP场景预测方法，其特征在于：

S1，对IP原始数据进行预处理后，将不同的原始特征嵌入至同一低维空间，得到每一个样本的嵌入向量；

S2，将样本的嵌入向量，利用自注意力机制，捕获对应样本的高阶交叉特征；

S3，训练一个全连接神经网络，它的输入分别是嵌入向量与嵌入向量、对应高阶交叉特征的结合，输出是全连接神经网络根据不同输入得到两个对样本场景的概率分布的估计，将两者求加权和，即可获得对样本IP场景的分类结果；

S4，根据步骤S1～S3获取训练模型，对训练模型输入待预测的数据即可执行预测任务。

3.根据权利要求2所述的基于自注意力机制的IP场景预测方法，其特征在于：所述IP原始数据的原始特征包括数值特征和分类特征；对IP原始数据进行预处理时，对数值特征进行缺失值处理和数据归一化处理，对分类特征进行字符串类型数据至数值类型数据的转换处理。

4.根据权利要求2所述的基于自注意力机制的IP场景预测方法，其特征在于：预处理后的数据x表示为

其中表示样本的第i个数值特征，表示样本的第j个分类特征；

对于每个数值特征通过一组对应的嵌入矩阵将其嵌入d维空间，即

对于分类特征q为所有样本的分类特征中类别的数量，通过另一组嵌入矩阵将其嵌入d维空间，即有

根据上述两种方式，得到步骤S1的输出，即样本的嵌入表示:

其中e∈R^(M+N)×d。

5.根据权利要求4所述的基于自注意力机制的IP场景预测方法，其特征在于，将嵌入表示e通过权重矩阵转换为索引Q、键K和值V，计算公式如下：

[Q,K,V]＝e×[ω_q,ω_k,ω_v]

其中，Q,K,V∈R^(M+N)×h，ω_q，ω_k和ω_v∈R^d×h为对应的权重矩阵，h是自注意力机制中隐藏层的维度；

计算索引Q与键K的相似性后，计算特征之间的权重系数A

A＝softmax(Q×K^T)

其中A∈R^(M+N)×(M+N)表示特征之间的注意力权重；

获得注意力向量e_a:

e_a＝A×V。