[发明专利]泛滥子域的识别方法和系统

说明书

本发明实施例公开了一种泛滥子域的识别方法和系统，涉及计算机技术领域，应用于搜索引擎，根据子域名的任一有效片段组的片段长度的离散度或集中度来识别泛滥子域，可有效提高泛滥子域识别程度。本发明实施例提供的方法包括：收集具有相同主域名的子域名；若判断所述具有相同主域名的子域名的任一有效片段组的片段长度为离散分布或集中分布，则将所述任一有效片段组对应的子域名识别为泛滥子域，其中，所述有效片段组为：在所述具有相同主域名的子域名的同一级片段中，所述同一级片段的左侧域名部分和右侧域名部分分别相同的片段集合。

技术领域

本发明涉及计算机技术领域，尤其涉及泛滥子域的识别方法和系统。

背景技术

计算机网络技术的发展极大的提高了人们获取信息的便利性，计算机网络中存储了海量的信息，为了使人们查找到自己所需的信息，搜索引擎被广泛使用，搜索引擎对网站的收录、质量控制是按照子域名为单位的。子域名是指根据业务的不同，站长在主域名的基础上，扩展出的多个域名，例如bbs.163.com提供论坛服务，blog.163.com是网易博客的子域名。子域名可以任意取名，甚至可以是多级子域名，例如twocold.blog.sina.com.cn。子域名是由左侧域名部分加主域名组合而成的，排除掉主域名部分，子域名剩下的部分按照符号“.”可以分割为多级片段。比如www.163.com可以分割“www”一级片段，twocold.blog.sina.com.cn可以分割成”twocold”、“blog”两级片段。

但是有些站长会故意生成数量庞大的、且内容、质量是很接近的子域名，给搜索引擎造成这个主域名的业务很庞大的假象，这种批量造出的子域名叫做泛滥子域，由于泛滥子域的内容、质量是很接近的，如果像对普通子域一样对进行常规的更新、质量评估，则大大增加了搜索引擎的负担，所以，识别泛滥子域并采取相应的调度手段可以使资源分配更合理，且大大减小搜索引擎的负担。

现有技术常用的识别泛滥子域的方法是通过统计相同主域名包含的子域名的数量，当数量超过一定的阈值，则认为是泛滥子域。

发明人发现现有技术至少存在以下缺点：现有技术单纯根据数量来判断是否为泛滥子域，只能解决最严重的泛滥子域问题，对泛滥子域的识别程度低。

发明内容

本发明的实施例提供一种泛滥子域的识别方法和系统，根据子域名的任一有效片段组的片段长度的离散度或集中度进行泛滥子域的识别，可有效提高泛滥子域识别程度。

为达到上述目的，本发明实施例采用的技术方案是，

一方面，本发明实施例提供一种泛滥子域的识别方法，包括：

获取具有相同主域名的子域名；

若判断所述具有相同主域名的子域名的任一有效片段组的片段长度为离散分布或集中分布，则将所述任一有效片段组对应的子域名识别为泛滥子域，其中，所述有效片段组为：在所述具有相同主域名的子域名的同一级片段中，所述同一级片段的左侧域名部分和/或右侧域名部分分别相同的片段集合。

优选的，所述判断所述具有相同主域名的子域名的任一有效片段组的片段长度为离散分布，包括：

获取平均片段数量，其中，所述平均片段数量由所述任一有效片段组包含的片段总数量除以所述任一有效片段组包含的不同的片段长度总数得到；

若所述平均片段数量小于第一离散度阈值，则判断所述任一有效片段组的片段长度为离散分布。

优选的，所述判断所述具有相同主域名的子域名的任一有效片段组的片段长度为离散分布，还包括：

若所述平均片段数量不小于所述第一离散度阈值，则统计所述任一有效片段组包含分隔符的片段数量或者所述任一有效片段组的命名模式；