[发明专利]一种基于自注意力机制的IP场景预测方法

说明书

本发明提供了一种基于自注意力机制的IP场景预测方法，利用自注意力机制从IP数据的原始特征中学习到高阶交叉特征，高阶交叉特征可以更加充分地反映数据的本质属性，将高阶交叉特征与原始数据结合，构造一个新的样本数据，同时以原始数据和新数据为输入分别训练一个全连接网络，那么这两个网络分别接收了数据原始特征和高阶交叉特征的输入，得到各自的预测结果，综合考虑二者输出的结果即为最终的预测结果。该基于自注意力机制的IP场景预测方法具有准确度高、使用方便的优点。

技术领域

本发明涉及信号处理领域，具体而言，涉及了一种基于自注意力机制的IP场景预测方法。

背景技术

随着互联网的普及，与IP地址相关的研究与日俱增，例如通过IP进行地理位置定位、异常检测和网络流量分析等。尽管上述研究已经使许多工业应用得以快速发展，但很少有工作研究IP地址的使用场景这一IP服务中的重要问题。IP场景分类是研究IP地址所在的真实场景，具体包括家庭宽带、企业专线、数据中心和移动网络这四种使用场景。

一般来说，如果能够获取IP地址的使用场景，可以为很多下游任务提供帮助，例如能够借助IP场景分辨对应IP地址是否被真人用户使用，进一步可以通过分析IP的场景以辅助拦截具有潜在风险的资金交易等。而IP地址通常由区域性的互联网服务提供商(Internet Service Provider，ISP)进行分配，但出于安全、隐私等多方面的考虑，他们各自分配IP的策略都是不同并且是不公开的。

为了预测IP的使用场景，传统的做法是借助相关领域的专业知识，对数据进行人工划分(专利号：CN201610676852.1)，这种做法效率低下。除此之外，机器学习方法由于其在一些任务(例如图像识别，文本分类等)中的优秀性能，被越来越多的人重视，如可以考虑使用支持向量机(Support Vector Machine，SVM)等方法进行分类，然而这些传统的机器学习方法无法挖掘隐藏在数据中的高阶特征。

发明内容

为了解决背景技术中所存在的问题，本发明提出了一种基于自注意力机制的IP场景预测方法。

一种基于自注意力机制的IP场景预测方法，

获取IP原始数据及其原始特征；

利用自注意力机制从所述原始特征中获取高阶交叉特征；

将高阶交叉特征与原始数据结合，构造一个新的样本数据；

以原始数据和新的样本数据为输入，分别训练一个全连接网络，两个全连接网络分别根据输入得到各自的预测结果，根据二者输出的结果获取最终的IP场景预测结果。

基于上述，S1，对IP原始数据进行预处理后，将不同的原始特征嵌入至同一低维空间，得到每一个样本的嵌入向量；S2，将样本的嵌入向量，利用自注意力机制，捕获对应样本的高阶交叉特征；S3，训练一个全连接神经网络，它的输入分别是嵌入向量与嵌入向量、对应高阶交叉特征的结合，输出是全连接神经网络根据不同输入得到两个对样本场景的概率分布的估计，将两者求加权和，即可获得对样本IP场景的分类结果；S4，根据步骤S1～S3获取训练模型，对训练模型输入待预测的数据即可执行预测任务。

基于上述，所述IP原始数据的原始特征包括数值特征和分类特征；对IP原始数据进行预处理时，对数值特征进行缺失值处理和数据归一化处理，对分类特征进行字符串类型数据至数值类型数据的转换处理。

基于上述，预处理后的数据x表示为

其中表示样本的第i个数值特征，表示样本的第j个分类特征；

对于每个数值特征通过一组对应的嵌入矩阵将其嵌入d维空间，即

对于分类特征q为所有样本的分类特征中类别的数量，通过另一组嵌入矩阵将其嵌入d维空间，即有