[发明专利]一种时间序列分类方法、装置及计算机设备

权利要求书

1.一种时间序列分类方法，其特征在于，所述方法基于线性Transformer模型，所述方法包括：

S10：获取时间序列，其中，所述时间序列中包括n个时序数据{χ₁,χ₂,...χ_n}， n为整数，n≥1；基于所述n个时序数据和所述n个时序数据在所述时间序列中的位置信息，获取每个时序数据χ_i的带有位置信息的输入向量s_i，其中，i为整数，1≤i≤n，s_i的维度为d，d为整数，d1；从而得到所述时间序列的带有位置信息的输入向量矩阵S={s₁,s₂,...s_n}，其中，s_i为S的第i列向量；

S20：将S输入到训练好的线性Transformer模型中，得到所述时间序列的特征向量矩阵F={f₁,f₂,...f_n}，其中，χ_i与f_i一一对应，f_i为包含了χ_i的位置信息的特征向量，f_i的维度为d，所述线性Transformer模型将Transformer模型中的非线性计算转化为线性计算；

S30：将所述特征向量矩阵F经过多层感知机分类器，并将所述多层感知分类器的输出进行归一化，得到所述时间序列的分类结果。

2.如权利要求1所述的时间序列分类方法，其特征在于，所述线性Transformer模型包括顺序连接的N个编码器层，其中，N为整数，N≥1；每个编码器层包括顺序连接的多头自注意力机制、第一残差连接和层标准化、前馈神经网络、以及第二残差连接和层标准化；所述多头自注意力机制包括h个并行的线性自注意力机制，其中，h为整数，h≥1；

步骤S20包括：

S210：将S输入所述多头自注意力机制，在所述多头自注意力机制中，将S分别经过第一线性变换、第二线性变换和第三线性变换，分别得到被查询向量矩阵Q、相关性向量矩阵K和查询向量矩阵V；

S220：将Q、K、V输入每个线性自注意力机制，将h个线性自注意力机制得到的结果进行拼接，得到所述多头自注意力机制的输出矩阵Attention(Q,K,V)，其中，每个线性自注意力机制将原始自注意力机制中的点积计算转化为线性计算；

S230：将Attention(Q,K,V)依次经过所述第一残差连接和层标准化、所述前馈神经网络和所述第二残差连接和层标准化，得到所述时间序列的特征向量矩阵F。

3.如权利要求2所述的时间序列分类方法，其特征在于，

在步骤S220中，每个线性自注意力机制将原始自注意力机制中的点积计算转化为线性计算的过程为：

S2210：根据所述自注意力机制，

改写为公式（1）：

其中，Q={q₁,q₂,...q_n}，q_i表示Q的第i列向量；K={k₁,k₂,...k_n}，k_j表示K的第j列向量；V={v₁,v₂,...v_n}，v_j表示V的第j列向量；j为整数，1≤j≤n；

Attention(Q,K,V)_i表示Attention(Q,K,V)的第i列向量；

S2220：利用泰勒公式，进行对公式（1）进行泰勒近似替换，并分别对q_i和k_j作二范数归一化，得到公式（2）：

其中，‖·‖表示对变量(·)的二范数操作；

基于公式（2），将Attention(Q,K,V)转换为Q、K、V三个矩阵的线性乘法运算：

其中，表示Q的二范数归一化矩阵，表示K的二范数归一化矩阵；

S2230：在的计算中，利用矩阵乘法结合律先计算K^TV，将得到的结果左乘矩阵Q的窗口为r的子矩阵，从而得到Attention(Q,K,V)，其中，rn。