[发明专利]一种基于多头注意力机制的连续兴趣点包推荐方法

权利要求书

1.一种基于多头注意力机制的连续兴趣点包推荐方法，其特征在于：包括以下步骤：

步骤一、获取用户打卡历史信息，将每一个用户一周内的打卡数据组成序列；

步骤二、将所有用户一周内的打卡数据组成序列组，序列组内每一条序列为一个用户一周内的序列打卡兴趣点，即该序列组包含在区域内各有效用户一周内的打卡序列；

步骤三、将序列组推送给模型进行训练；通过编码器与多头注意力机制、残差网络得到序列中的兴趣点变化信息，将得到的信息输入解码器中进行拟合，解码器结构与编码器对称，经过管道搜索的方式学习出适应区域用户的最优超参数；

步骤三中，将序列组分为70％的训练集，20％测试集和10％验证集，将训练集推送给模型进行训练，通过以多头注意力机制和残差网络为基础的编码器中进行编码，并将用户ID嵌入向量和语义向量进行拼接；将得到的向量输入至与编码器结构相似的解码器中解码得到一个包序列兴趣点；然后将得到的包序列兴趣点与目标兴趣点序列进行对比，降低损失；通过验证集来保证模型的有效性后，输入测试集进行测试，如果有过拟合现象则重新训练模型，没有则暂时部署该模型；

模型采用深度学习的方式，并在Tensorflow框架上进行模型训练；对于后续收集的用户数据直接将其分成训练集和测试集，将历史模型当作与训练模型，进行微调操作，对模型进行更新；之后根据用户反馈以及模型所产生影响力的合理性对模型进行调整；

模型训练具体为：对每个用户一周内的打卡行为进行编码处理，编码的方式采用多头注意力机制与残差网络，具体的实施包括：对每个用户一周内兴趣点进行嵌入位置编码处理，再过编码层学习一个用户一周内的打卡行为的编码向量；

其中，上式i为兴趣点在全部兴趣点中的位置，pos为兴趣点在序列中所占的位置，d_model为需要编码的长度，从此得到每个兴趣点在一段序列中的位置编码；

接下来使用多头注意力机制与残差网络的形式对用户一周内的序列进行编码，以得到每一个用户的行为特征以及每个兴趣点在不同位置时的影响力大小；学习到的影响力向量为：

MultiHead(Q,K,V)＝Concat(head₁,...,head_h)W^O；

head_i＝Attention(QW_i^Q,KW_i^K,VW_i^V)；

其中，Q为查询向量，K为键向量，V为值向量，采用的是自注意力机制，三者相等，head_i代表多头注意机制的头数，Concat中将每一个头所学习到的向量进行拼接，再通过权重参数W^O得到多头注意力机制所编码向量；

步骤四、将训练模型部署在多个服务器中，在一周内按一定频率将实时的用户打卡数据序列组分成多部分传入不同服务器中进行预测，推荐后续一周内行程的兴趣点序列，并根据用户ID将预测结果打包实时传回用户端；

步骤五、记录用户接下来一周内的打卡地点序列以及对访问兴趣点的评价，得到用户反馈数据用于优化模型，通过用户反馈以及新用户打卡序列定期更新模型。

2.根据权利要求1所述的一种基于多头注意力机制的连续兴趣点包推荐方法，其特征在于：步骤一中，从移动应用运营商大数据平台中获取用户打卡历史信息，用户打卡历史信息包括用户ID、打卡地点、打卡时间、打卡经纬度和用户评分。

3.根据权利要求2所述的一种基于多头注意力机制的连续兴趣点包推荐方法，其特征在于：步骤二中，组成序列组后，对序列组进行清洗，剔除一周内打卡次数少的序列。

4.根据权利要求3所述的一种基于多头注意力机制的连续兴趣点包推荐方法，其特征在于：步骤二中，清洗是将打卡次数少于5次的新用户剔除，剔除少于5次被打卡的兴趣点，剔除一周内打卡少于10次的序列。