[发明专利]一种基于自监督学习的社交网络用户轨迹分析方法

说明书

本发明公开了一种基于自监督学习的社交网络用户轨迹分析方法，通过数据增强技术对轨迹数据进行数据的合理扩充，再结合自监督的方法更好的学习轨迹数据的表示。然后构建一个预训练模型(该模型中包含了RNN和注意力机制等深度学习神经网络层)，在预训练模型中利用对比学习构建正负样本，学习锚数据与正负样本之间的互信息。然后，将预训练模型中学习到的参数迁移到下游任务中，微调网络使下游任务的性能能够得到提升。本发明的目的旨在针对社交网络中用户轨迹分析研究中存在轨迹点稀疏、数据反馈存在差异、下一个轨迹点信号弱等问题，提供一种以自监督学习为框架并结合数据增强的方法，来学习人类的移动模式，使更流畅和完整地捕捉用户的运动意图。

技术领域

本发明涉及轨迹预测技术领域，具体涉及一种基于自监督学习的社交网络用户轨迹分析方法。

背景技术

在基于位置的社交网络(Location based Social Network,LBSN)中，存在大量关于用户行踪的数字痕迹，如通话细节记录、GPS轨迹和社交媒体足迹等等，使得学习并挖掘人类移动模式的大量研究成为可能，并用于一系列下游任务。人类移动预测的目的是预测用户在不久的将来会到达哪里，它是一项基本任务，可以造福于许多领域，如控制传染病的传播、城市规划和犯罪识别等等，所以对社交网络中的轨迹进行分析是一件很有必要的事情。

但在训练模型的时候，研究人员经常会遇到数据不足的情况。一些任务只有几百条数据，这样的数据训练出来的模型泛化性往往不好。深度学习在训练一个模型时，其优化目标是降低代价函数，使模型的损失最低。此时需要以正确的方式调整模型参数，而参数的数量与样本量成正比。所以模型通常需要大量的数据。目前最先进的神经网络都需要成千上万的数据，而获取数据是一件耗时且困难的事，需要采取一些方式达到降低代价的目的。

数据增强是指在没有真正实质性增加数据的基础上，让有限的样本产生更多等同于数据样本。数据增强需要保证变换前后的数据和初始样本的主要特征和数据分布一致，确保模型能够学习到数据中的模式。目前，数据增强在图像学习领域被广泛使用，通过对图片进行翻转、缩放比例、扭曲、移位和高斯噪声等等，或者改变同一个场景下的不同投影方式(如光线、角度、距离和焦距等等)来增加样本量，提高了模型的泛化能力。同时数据增强起正则化作用并避免过拟合，可以降低模型网络结构过于复杂的风险。训练样本的丰富，会增加数据噪声，能提升模型的鲁棒性。本文模型利用现有的轨迹数据进行数据增强，来获取更好的实验效果。

自监督学习主要从大规模的无标注数据中挖掘自身的监督信息，通过这种构造的有效监督信息对模型进行训练，可以学习到价值的表示。自监督学习的方法主要可以分为三类：基于上下文(Context Based)、基于时序(Temporal Based)、基于对比(ContrastiveBased)的方法。

基于上下文的方法是根据数据本身的上下文信息来构造任务，比如在自然语言处理领域中的word2vec就是利用语句的顺序来预测不同位置的词语。基于时序的自监督学习主要是利用时序的约束关系来学习，如视频中相邻帧的特征都比较相似，而间距较远的帧不太相似。另一种自监督学习是以对比学习(Contrastive Learning，CL)为基础，这种方法通过对比样本的相似程度进行编码来学习数据的表示，通过构建正负样本，然后度量正负样本的距离来实现自监督学习，进而使得更容易解决下游的任务。

传统的方法从轨迹中发现常用的序列移动模式，然后根据这些常用的模式来预测用户的移动行为，矩阵分解在推荐系统中经常出现，其基本思想是将用户-项目矩阵分解为代表用户和项目特征的两个潜在矩阵，可以看作是一种探究轨迹移动模式的方法。然后将马尔科夫(Markov)模型与矩阵分解相结合，提出了分解个性化马尔可夫模型(FPMC)来进行项目推荐。在FPMC的基础上提出了一种称为FPMC-LR的矩阵分解方法，在考虑局部区域约束的情况下捕获马尔可夫链的序列转换。这些方法中的预定义移动模式比较固定且片面，难以对轨迹的周期性、转移规律进行特征提取，也难以挖掘出复杂轨迹序列的移动特征，轨迹预测的精确度仍然很低。