[发明专利]一种互联网网站相似度分析方法、装置以及可读存储介质

说明书

本发明公开了一种互联网网站相似度分析方法、装置以及可读存储介质，方法包括：从多个未分类的互联网网站中提取文本特征词；将各个未分类的互联网网站的文本特征词分别输入预先获取到的孪生网络编码工具，得到各个未分类的互联网网站的文本向量序列，其中：所述孪生网络编码工具是从训练好的孪生网络中的输入层至权值共享循环神经网络层进行迁移得到，且所述孪生网络的训练是基于从多个已分类的互联网网站中提取的文本特征词实现；将各个未分类的互联网网站的文本向量序列组成的矩阵进行降维处理得到低维弱相关矩阵；对低维弱相关矩阵进行聚类分析，根据聚类分析结果获取所述多个未分类的互联网网站的相似度情况，从而实现互联网网站相似度分析。

技术领域

本发明涉及互联网网站检测领域，尤其涉及一种互联网网站相似度分析方法、装置以及可读存储介质。

背景技术

依托互联网的发展，近些年互联网平台和运营的网站数量暴增，给国家相关管理机构的有效监督管理带来了极大困难和挑战。有效监管的前提是对海量互联网网站进行归类操作。对于已知业态(譬如电商、理财等)的传统互联网平台发现归类，可依靠机器学习或者深度学习算法构建多分类模型实现归类的自动化；但对于未知的业态(譬如几年前突然盛行的虚拟货币)的归类，机器学习或深度学习分类模型却无法业态发育初期对其进行识别和发现，可这些平台恰恰是管理部门重点关注的对象。如此一来，对未知业态互联网网站的发现与归类对于互联网监管而言尤为重要。

现有思路一般是基于排除了已知业态后的互联网网站文本信息后，通过无监督学习算法对网站信息文本进行向量化，再根据向量计算两两网站之间的相对坐标距离，根据相对坐标距离通过社区发现相关算法对其进行归类推送。但这类算法在计算网站两两之间距离上既耗时又占据了大量的计算资源，同时相对坐标距离的好坏也取决于文本向量化的好坏，传统文本向量化的生产方案可以基于0-1矩阵、词频矩阵、N-GRAM矩阵、TF-IDF关键词重要性矩阵等方式实现，也可以通过深度学习中的word2vec等方式转码，但上述实现方式十分依赖文本分词、排除词提取或者word2vec预训练词向量的好坏程度，同时，即便是进行了文本向量化的生成，大概率计算两两距离后的网站归类结果可能并不是人为想要得到的分类结果，譬如众多公司名称中包含“北京”一词的网站，在计算两两之间相对距离后很可能自动聚成一个社群，但是这些公司很可能包含了在北京备案注册下的众多业态。因此如何确保文本向量化后的特征能在业态这个维度进行很好的区分，也是当前需要解决的一大难点。

发明内容

本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种互联网网站相似度分析方法、装置以及可读存储介质，旨在解决现有技术中对计算两两网站相对坐标距离耗时耗力且文本向量生成坐标无法满足人为分类需求的技术问题。

本发明解决其技术问题所采用的技术方案是：构造一种互联网网站相似度分析方法，所述方法包括：

从多个未分类的互联网网站中提取文本特征词；

将各个未分类的互联网网站的文本特征词分别输入预先获取到的孪生网络编码工具，得到各个未分类的互联网网站的文本向量序列，其中：所述孪生网络编码工具是从训练好的孪生网络中的输入层至权值共享循环神经网络层进行迁移得到，且所述孪生网络的训练是基于从多个已分类的互联网网站中提取的文本特征词实现；

将各个未分类的互联网网站的文本向量序列组成的矩阵进行降维处理得到低维弱相关矩阵；

对所述低维弱相关矩阵进行聚类分析，根据聚类分析结果获取所述多个未分类的互联网网站的相似度情况。

优选地，所述方法还包括：

从多个已分类的互联网网站中提取文本特征词；

将每一个已分类的互联网网站与其余的网站中的每一个网站分别两两一组进行划分，将每一组的两个网站的文本特征词关联，并为同一组的两个网站设置一个用于标记该两个网站类型是否一致的标签；