[发明专利]一种基于大规模Embedding技术的Wi-Fi聚类方法及系统

摘要

本发明公开了一种基于大规模Embedding技术的Wi‑Fi聚类方法及系统，主要是通过将用户对Wi‑Fi的连接行为按时间序列化，在经过滑动窗口的进行加窗处理以及负采样后，得到一组Local Context和Global Context，输入到一个三层神经网络中，来预测滑动窗口下一个Wi‑Fi出现的概率，而输入层到隐藏层之间的权值矩阵则为Wi‑Fi的Embedding向量，该向量能有效的表征Wi‑Fi的特点；再利用该Embedding向量作为特征采用传统的聚类算法进行聚类，可得到较好的聚类效果。本发明可充分学习到每个Wi‑Fi的一个唯一的向量表达，使相同场景下的Wi‑Fi能得到相近的向量表达；能使模型较快得到收敛，对大规模的数据训练和测试在性能上有较大提高。

主权项

1.一种基于大规模Embedding技术的Wi‑Fi聚类方法，其特征在于：首先进行数据样本整理，将每一个用户半年的连接过Wi‑Fi按照时间顺序组成一个个序列，统计每个用户连接过的Wi‑Fi的数量的分布情况，根据分布情况，确定上下两个阈值，去掉连接过的Wi‑Fi数量超出阈值范围内的用户序列，将样本中出现过的Wi‑Fi进行统计得到一个字典，根据字典将每一个Wi‑Fi进行One‑Hot独热编码，随机选取字典中一部分的Wi‑Fi根据Wi‑Fi来源场景人工标注其场景类别作为这个Wi‑Fi的类别；然后，将每一个用户的Wi‑Fi序列经过滑动窗口的进行加窗处理，窗口内的Wi‑Fi记为局部信息，对扫描过的Wi‑Fi进行随机采样得到一组Wi‑Fi记为全局信息，当前窗口后面一个Wi‑Fi标注为局部信息和全局信息的样本标签；联合局部信息样本和全局信息样本作为一组大规模Embedding的训练样本；通过一个三层神经网络模型将Wi‑Fi进行Embedding映射到一个高维空间，使每一个Wi‑Fi在高维空间有一个向量与其一一对应，且该高维向量能保存其对应Wi‑Fi的特征，该三层神经网络模型通过输入一组训练样本，预测该样本标签出现的概率，学习到的输入层与隐藏层之间的权重即为Embedding到高维空间的新的向量；其次，在人工标注的Wi‑Fi类别下使用Embedding的Wi‑Fi高维向量计算类内平均余弦相似度和类间平均余弦相似度，设定一个阈值，比较两个余弦相似度的差异程度，当这个差别超过这个阈值，即认为这个训练的向量有效，并将Embedding的向量使用TSNE和Tensorbord可视化，直接观察相同类别的Wi‑Fi向量的聚拢程度；最后，根据实际应用场景的多少以及Wi‑Fi数量级的大小选择聚类的类别个数，将学习到的Wi‑Fi的向量输入到Kmeans聚类算法中进行聚类得到每一个Wi‑Fi的类别。