[发明专利]藏文网页分类方法和装置

权利要求书

1.一种藏文网页分类方法，其特征在于，所述方法包括：

提取待分类藏文网页的页面信息；

对所述页面信息进行分词处理，得到所述待分类藏文网页的词项向量；

利用藏文类别主题词表中各类别的主题词向量，计算所述词项向量与所述各类别的主题词向量的文本相似度；

从所述页面信息中获取网页栏目词条，利用藏文类别特征词表，查找出所述网页栏目词条所在的类别；

根据所述网页栏目词条的类别和所述文本相似度，确定所述待分类藏文网页属于各个类别的可信度；

将可信度满足要求的类别确定为所述待分类藏文网页的类别。

2.根据权利要求1所述的藏文网页分类方法，其特征在于，在所述提取待分类藏文网页的页面信息之前，还包括：

利用记录的去重日志，判断所述待分类藏文网页是否为重复网页，如果是，则丢弃该藏文网页，否则提取待分类藏文网页的页面信息，并更新所述去重日志；

3.根据权利要求1所述的藏文网页分类方法，其特征在于，在所述提取待分类藏文网页的页面信息之后，还包括：

利用记录的去重日志，判断所述页面信息是否为重复的页面信息，如果是，则丢弃该藏文网页，否则执行所述对所述页面信息进行分词处理，并更新所述去重日志。

4.根据权利要求1所述的藏文网页分类方法，其特征在于，在所述提取待分类藏文网页的页面信息之后，还包括：

对所述页面信息进行编码转换，得到统一编码方式的页面信息；

对转换后的所述页面信息进行分词处理，或者，从转换后的所述页面信息中获取所述网页栏目词条。

5.根据权利要求1所述的藏文网页分类方法，其特征在于，所述对页面信息进行分词处理，得到所述待分类藏文网页的词项向量，具体为：

对所述页面信息进行分词得到各个词项，统计所述各个词项的词频，并为各个词项赋予权重；

所述各个词项及各个词项的权重构成所述待分类藏文网页的词项向量。

6.根据权利要求1所述的藏文网页分类方法，其特征在于，所述利用藏文类别主题词表中各类别的主题词向量，计算所述词项向量与所述各类别的主题词向量的文本相似度，具体为：

所述藏文类别主题词表中包括n个类别Dic=(C₁,C₂,…,C_i,…,C_n)，其中，C_i表示第i个类别，C_i=(l₁,l₂,…,l_m)表示第i个类别C_i中包含m个主题词，C_i对应的权重向量为：W_i=(w₁,w₂,…,w_m)，w_m表示第m个主题词的权重；

所述待分类藏文网页的所述词项向量中包含k个词项T=(t₁,t₂,…,t_k)，各个词项对应的词频为F=(f₁,f₂,…,f_k)，各个词项对应的权重为V=(v₁,v₂,…,v_k)；

根据相似度计算公式Sim<C_i,T>=W_i*V/sqrt(|W_i|*|V|)，计算得到所述第i个主题类别的主题词向量与所述词项向量的文本相似度，其中i∈(1,n)，W_i=length(C_i);V=F*W_i。