[发明专利]一种站点语种分类的方法和系统

权利要求书

1.一种站点语种分类的方法，其特征在于，包括：

对于每一种语种，利用该语种的预设搜索词进行搜索，得到对应于该语种的所有页面链接；

根据所述所有页面链接的链接地址，将所有页面链接分类，每一类对应一个站点；

从每一个站点对应的分类中抽样部分页面链接，组成样本集合，根据样本集合中页面链接的数量和语种信息，生成对应于该语种的训练模型；

将需检测的网页资源的页面链接集合按照站点进行分类，得到各个需检测的站点；

根据所述语种训练模型，得到每一个所述需检测的站点的语种预测值。

2.根据权利要求1所述的站点语种分类的方法，其特征在于：

所述利用该语种的预设搜索词进行搜索，得到对应于该语种的所有页面链接包括：利用该语种的热门搜索词库，选择该语种第一数量的热门搜索词，对每一个搜索词，提取搜索结果的前第二数量页面链接，得到对应于该语种的所有页面链接。

3.根据权利要求1所述的站点语种分类的方法，其特征在于：

所述根据所述所有页面链接的链接地址，将所有页面链接分类包括：对所述所有页面链接的链接地址去重，按照有效合法的链接地址特征提取站点地址，按照站点地址进行分类；

和／或，所述语种信息包括：首页语种、各页面链接语种、各语种数量占比中的一个或多个。

4.根据权利要求1所述的站点语种分类的方法，其特征在于，所述从每一个站点对应的分类中抽样部分页面链接包括：

对每一个站点对应的分类进行随机抽样，或根据每一个站点对应的分类中页面链接数量的比例，进行有偏抽样。

5.根据权利要求4所述的站点语种分类的方法，其特征在于，所述根据样本集合中页面链接的数量和语种信息，生成对应于该语种的训练模型包括：

提取样本集合中页面链接的数量为预设数量以上的站点，当所对应的语种为首页语种，或在各语种数量占比中占预设比例以上时，提取并利用模型训练系统生成对应于该语种的训练模型。

6.根据权利要求1至5中任一项所述的站点语种分类的方法，其特征在于，在所述将需检测的网页资源的页面链接集合按照站点进行分类之前，还包括：

统计各站点的首页语种、各站点页面链接数量、各页面链接语种、各语种数量占比中的一个或多个站点基础信息。

7.一种站点语种分类的系统，其特征在于，包括：链接获取单元、站点分类单元、训练模型单元、检测分类单元和语种预测单元；链接获取单元、站点分类单元、训练模型单元和语种预测单元顺序相连，语种预测单元还与检测分类单元相连，其中：

链接获取单元，用于对于每一种语种，利用该语种的预设搜索词进行搜索，得到对应于该语种的所有页面链接，并输出至站点分类单元；

站点分类单元，用于根据所述所有页面链接的链接地址，将所有页面链接分类，每一类对应一个站点，并输出至训练模型单元；

训练模型单元，用于从每一个站点对应的分类中抽样部分页面链接，组成样本集合，根据样本集合中页面链接的数量和语种信息，生成对应于该语种的训练模型，并输出至语种预测单元；

检测分类单元，用于将需检测的网页资源的页面链接集合按照站点进行分类，得到各个需检测的站点，并输出至语种预测单元；

语种预测单元，用于根据所述语种训练模型，得到每一个所述需检测的站点的语种预测值。

8.根据权利要求7所述的站点语种分类的系统，其特征在于：

所述链接获取单元包括：搜索子单元，用于利用该语种的热门搜索词库，选择该语种第一数量的热门搜索词，对每一个搜索词，提取搜索结果的前第二数量页面链接，得到对应于该语种的所有页面链接。

9.根据权利要求7所述的站点语种分类的系统，其特征在于：

所述站点分类单元包括：分类子单元，用于对所述所有页面链接的链接地址去重，按照有效合法的链接地址特征提取站点地址，按照站点地址进行分类；

和／或，所述语种信息包括：首页语种、各页面链接语种、各语种数量占比中的一个或多个。

10.根据权利要求7所述的站点语种分类的系统，其特征在于，所述训练模型单元包括：

随机抽样子单元，用于对每一个站点对应的分类进行随机抽样；

或，有偏抽样子单元，用于根据每一个站点对应的分类中页面链接数量的比例，进行有偏抽样。