[发明专利]一种互联网网站相似度分析方法、装置以及可读存储介质

权利要求书

1.一种互联网网站相似度分析方法，其特征在于，所述方法包括：

从多个未分类的互联网网站中提取文本特征词；

将各个未分类的互联网网站的文本特征词分别输入预先获取到的孪生网络编码工具，得到各个未分类的互联网网站的文本向量序列，其中：所述孪生网络编码工具是从训练好的孪生网络中的输入层至权值共享循环神经网络层进行迁移得到，且所述孪生网络的训练是基于从多个已分类的互联网网站中提取的文本特征词实现；

将各个未分类的互联网网站的文本向量序列组成的矩阵进行降维处理得到低维弱相关矩阵；

对所述低维弱相关矩阵进行聚类分析，根据聚类分析结果获取所述多个未分类的互联网网站的相似度情况。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

从多个已分类的互联网网站中提取文本特征词；

将每一个已分类的互联网网站与其余的网站中的每一个网站分别两两一组进行划分，将每一组的两个网站的文本特征词关联，并为同一组的两个网站设置一个用于标记该两个网站类型是否一致的标签；

将各组网站的关联后的文本特征词以及标签作为样本数据，对所述孪生网络模型进行训练，所述孪生网络包括输入层、编码层、权值共享循环神经网络层、相似度距离计算层、输出层；

将训练好的所述孪生网络中的输入层至权值共享循环神经网络层进行迁移得到所述孪生网络编码工具。

3.根据权利要求2所述的方法，其特征在于，所述的将训练好的所述孪生网络中的输入层至权值共享循环神经网络层进行迁移得到所述孪生网络编码工具，包括：

对所述训练好的所述孪生网络提取输入层至权值共享循环神经网络层的结构及参数，得到孪生网络子模型；

对所述孪生网络子模型进行迁移，得到将文本特征词转为文本向量序列的所述孪生网络编码工具。

4.根据权利要求1所述的方法，其特征在于，所述的提取文本特征词，包括：

获取互联网网站的HTML源码，对获取的HTML源码进行解析得到文本数据集；

剔除源码Body部分的所述文本数据集中的无用字符、停用词，通过中文分词及关键词提取技术提取第一文本特征词，和/或剔除源码Head部分的所述文本数据集中的无用字符、停用词，通过中文分词技术提取第二文本特征词；

对所述第一文本特征词及第二文本特征词进行拼接作为从互联网网站中提取出的文本特征词。

5.根据权利要求1所述的方法，其特征在于，

所述的将各个未分类的互联网网站的文本向量序列组成的矩阵进行降维处理得到低维弱相关矩阵，包括：将各个未分类的互联网网站的文本向量序列组成一个矩阵，矩阵的每一行为一个未分类的互联网网站的文本向量序列，对矩阵进行降维使得各列之间呈弱相关或正交以得到所述低维弱相关矩阵；

所述的对所述低维弱相关矩阵进行聚类分析，根据聚类分析结果获取所述多个未分类的互联网网站的相似度情况，包括：对所述低维弱相关矩阵通过聚类算法进行聚类，输出各网站所属的聚类编码，聚类编码相同的网站属于同一类网站，否则属于不同类网站。

6.一种互联网网站相似度分析装置，其特征在于，所述装置包括：

未分类网站特征词提取模块，用于从多个未分类的互联网网站中提取文本特征词；

特征词转换模块，用于将各个未分类的互联网网站的文本特征词分别输入预先获取到的孪生网络编码工具，得到各个未分类的互联网网站的文本向量序列，其中：所述孪生网络编码工具是从训练好的孪生网络中的输入层至权值共享循环神经网络层进行迁移得到，且所述孪生网络的训练是基于从多个已分类的互联网网站中提取的文本特征词实现；

矩阵降维模块，用于将各个未分类的互联网网站的文本向量序列组成的矩阵进行降维处理得到低维弱相关矩阵；

聚类分析模块，用于对所述低维弱相关矩阵进行聚类分析，根据聚类分析结果获取所述多个未分类的互联网网站的相似度情况。