[发明专利]一种基于自注意力卷积网络的无线业务流量预测方法、设备及介质

权利要求书

1.一种基于自注意力卷积网络的无线业务流量预测方法，其特征在于，是指：将待预测的原始无线业务流量预处理后输入至训练好的流量预测模型，得到预测的流量数据，流量数据是指流量值；

待预测的原始无线业务流量预处理的过程包括：以小时为时间粒度单位，利用滑动时间窗，对原始无线业务流量进行划分，使每组流量数据时间跨度为T小时；在空间维度上，不同地区拼接成为一个网格，使处于同一时段的不同地区的流量数据以数据矩阵的形式存储在数据库中，得到处理后的每组流量数据D′＝{D₁′,D₂′,...,D_t′...,D_T′}，其中矩阵H表示网格行数,W表示网格列数，将网格中心作为原点，矩阵D_t′中的元素表示坐标为(h,w)地区在第t小时的流量值；将与第t小时的流量数据对应的时间戳信息存储为长度为l_d的一维张量D_date′；将不同地区与流量数据生成相关的特征存储为特征矩阵，将N种特征的特征矩阵拼接为一个3维张量

所述流量预测模型包括时间编码网络、自注意力卷积网络、特征嵌入网络及卷积残差网络；

所述时间编码网络提取时间戳信息中的特征，将所得特征与具有一定时间跨度的流量数据进行融合；所述自注意力卷积网络对处于不同时间节点的无线流量数据进行相关性分析与特征表征；所述特征嵌入网络对其它相关特征进行特征提取；所述卷积残差网络将所述自注意力卷积网络的输出结果与所述特征嵌入网络的输出结果表征进行融合后得到下一时段的预测流量Y'；

所述流量预测模型的训练过程如下：

(1)以小时为时间粒度单位，利用滑动时间窗，对原始无线业务流量进行划分，使每组流量数据时间跨度为T小时；

在空间维度上，不同地区拼接成为一个网格，使处于同一时段的不同地区的流量数据以数据矩阵的形式存储在数据库中，得到处理后的每组流量数据D＝{D₁,D₂,...,D_t...,D_T}，其中矩阵H表示网格行数,W表示网格列数，将网格中心作为原点，矩阵D_t中的元素表示坐标为(h,w)地区在第t小时的流量值；

(2)将与第t小时的流量值对应的时间戳信息存储为长度为l_d的一维张量D_date；将不同地区与流量数据生成相关的特征存储为特征矩阵，将不同特征矩阵拼接为一个3维张量N表示相关的特征的数目；

(3)将步骤(1)及步骤(2)得到的时间跨度为T时段的流量数据D、时间戳信息D_date、相关特征矩阵D_cross作为流量预测模型的输入，将第T+1时段的流量数据作为训练目标，构建含有n个训练样本的数据集，将整个数据集划分为训练集、验证集与测试集；

(4)所述时间编码网络将时间戳信息D_date与时间跨度为T时段的流量数据D进行融合，将特征融合结果传入到由l_a层自注意力卷积单元构成的所述自注意力卷积网络，利用自注意力机制对流量数据在时间维度的复杂动态特性进行建模；

(5)所述特征嵌入网络对无线业务流量的相关特征D_cross进行特征提取后得到特征表征O_cross，将O_cross与步骤(4)中所述自注意力卷积网络的输出作为包含l_r层残差卷积层的残差卷积网络F_r的输入进行特征融合，得到预测流量值；计算预测流量Y'值与实际流量值Y的均方误差，构建整个流量预测模型的损失函数；

(6)利用随机梯度下降算法，对整个预测神经网络进行监督训练，直至满足训练结束条件；

所述步骤(4)，包括步骤如下：

(a)利用线性映射构建时间编码网络F_date，通过时间编码网络F_date对时间戳信息D_date做进一步表征，时间编码网络F_date输出记作O_date，如式(Ⅰ)所示：

式(Ⅰ)中，σ是激活函数，向量向量均是线性映射参数，b¹、b²均是线性映射偏置，通过两次映射对时间戳信息进行更为准确的特征表征；

(b)将步骤(a)中时间编码信息O_date与对应时段的流量数据D_t进行线性叠加，线性叠加结果为X＝{X₁,X₂...X_T}；

(c)第l层自注意力卷积单元，l∈{1,2,...,l_a}，通过卷积运算对每一时刻的流量数据X_t做进一步的特征学习,如式(Ⅱ)-(Ⅳ)所示：

式(Ⅱ)-(Ⅳ)中，表示第l层自注意力卷积单元的输入，分别表示含有不同参数的卷积层，通过卷积运算提取不同时段流量数据的特征表征，V_t^(l)表示第t个时段的流量数据在第l层自注意力卷积单元的3种特征表征；

通过式(Ⅱ)-(Ⅳ)的卷积运算，某一特定时段的流量数据被表征为Q,K,V三个张量；

(d)利用不同时段的Q,K值对序列相关性进行模式挖掘，第t时段与第i时段的相关性如式(Ⅴ)所示：

式(Ⅴ)中，ψ是softmax函数，表示第i时段的特征表征相对与第t时段特征表征的相关系数，Q_t、K_i分别就是K_i^(l)；

(e)根据步骤(d)求取的权重对不同时段的V张量进行加权求和，如式(Ⅵ)所示：

式(Ⅵ)中，σ()表示激活函数,表示第l层注意力卷积单元的输出。