[发明专利]一种站点语种分类的方法和系统

说明书

技术领域

本发明涉及计算机互联网技术领域，尤其涉及一种站点语种分类的方法和系统。

背景技术

在现代搜索引擎技术中，站点语种对于搜索引擎的资源抓取和处理有重要的指导意义。首先，站点语种信息用于搜索引擎的爬虫调度，可以控制不同语种的资源抓取压力，提高网络带宽和抓取资源的效率，也可以针对性收录目标语种资源，以丰富相关语种的搜索展现；其次，站点语种信息也可以用于指导垃圾资源的删除和屏蔽。

在现有技术中，对于网页单页面而言，目前已经有较为成熟的方法通过爬虫系统抓取网页资源，来完成单页面的语种识别。而站点则是包含多个页面链接、多个网页单页面的集合。如果认为一个站点为某个语种，一般而言该站点下的页面链接(url)应主要为该语种，也即站点语种应为网页单页面语种的统计集合。

对于站点级别的语种，至今还没有相应的识别方法。现有技术缺乏一个抓取并识别站点语种的系统，来合理高效地对网页单页面语种信息进行挖掘扩展，以满足现代搜索引擎技术的要求。

发明内容

(一)要解决的技术问题

本发明提供一种站点语种分类的方法和系统，以解决现有技术中无法针对站点级别进行语种识别的技术问题。

(二)技术方案

为解决上述技术问题，本发明提供一种站点语种分类的方法，其包括：

对于每一种语种，利用该语种的预设搜索词进行搜索，得到对应于该语种的所有页面链接；

根据所述所有页面链接的链接地址，将所有页面链接分类，每一类对应一个站点；

从每一个站点对应的分类中抽样部分页面链接，组成样本集合，根据样本集合中页面链接的数量和语种信息，生成对应于该语种的训练模型；

将需检测的网页资源的页面链接集合按照站点进行分类，得到各个需检测的站点；

根据所述语种训练模型，得到每一个所述需检测的站点的语种预测值。

进一步地，

所述利用该语种的预设搜索词进行搜索，得到对应于该语种的所有页面链接包括：利用该语种的热门搜索词库，选择该语种第一数量的热门搜索词，对每一个搜索词，提取搜索结果的前第二数量页面链接，得到对应于该语种的所有页面链接。

进一步地，

所述根据所述所有页面链接的链接地址，将所有页面链接分类包括：对所述所有页面链接的链接地址去重，按照有效合法的链接地址特征提取站点地址，按照站点地址进行分类；

和／或，所述语种信息包括：首页语种、各页面链接语种、各语种数量占比中的一个或多个。

进一步地，所述从每一个站点对应的分类中抽样部分页面链接包括：

对每一个站点对应的分类进行随机抽样，或根据每一个站点对应的分类中页面链接数量的比例，进行有偏抽样。

进一步地，所述根据样本集合中页面链接的数量和语种信息，生成对应于该语种的训练模型包括：

提取样本集合中页面链接的数量为预设数量以上的站点，当所对应的语种为首页语种，或在各语种数量占比中占预设比例以上时，提取并利用模型训练系统生成对应于该语种的训练模型。

进一步地，

在所述将需检测的网页资源的页面链接集合按照站点进行分类之前，还包括：统计各站点的首页语种、各站点页面链接数量、各页面链接语种、各语种数量占比中的一个或多个站点基础信息。

另一方面，本发明还提供一种站点语种分类的系统，包括：链接获取单元、站点分类单元、训练模型单元、检测分类单元和语种预测单元；链接获取单元、站点分类单元、训练模型单元和语种预测单元顺序相连，语种预测单元还与检测分类单元相连，其中：

链接获取单元，用于对于每一种语种，利用该语种的预设搜索词进行搜索，得到对应于该语种的所有页面链接，并输出至站点分类单元；

站点分类单元，用于根据所述所有页面链接的链接地址，将所有页面链接分类，每一类对应一个站点，并输出至训练模型单元；

训练模型单元，用于从每一个站点对应的分类中抽样部分页面链接，组成样本集合，根据样本集合中页面链接的数量和语种信息，生成对应于该语种的训练模型，并输出至语种预测单元；

检测分类单元，用于将需检测的网页资源的页面链接集合按照站点进行分类，得到各个需检测的站点，并输出至语种预测单元；

语种预测单元，用于根据所述语种训练模型，得到每一个所述需检测的站点的语种预测值。

进一步地，