[发明专利]一种对爬虫种子打标签的方法及装置

权利要求书

1.一种对爬虫种子打标签的方法，其特征在于，所述方法包括：

预先建立标签与关键词数组的关联关系；其中，所述关键词数组包括关键词与位置标识的对应关系，所述位置标识是根据与所述位置标识具有对应关系的关键词确定；所述标签与关键词数组的关联关系是利用预设有标签的爬虫种子建立的；所述位置标识用于表征所述关键词在网页内容中的词频排序；

接收任一待打标签的爬虫种子，利用所述爬虫种子爬取网页内容；

从所述网页内容中提取关键词，并根据所述关键词生成各个关键词对应的位置标识；

将具有位置标识的关键词分别与所述标签与关键词数组的关联关系中的各个关键词数组进行匹配；所述将具有位置标识的关键词分别与所述标签与关键词数组的关联关系中的各个关键词数组进行匹配，具体为：将所述具有位置标识的关键词及该关键词对应的位置标识，与所述标签与关键词数组的关联关系中的各个关键词数组包括的具有对应关系的关键词及位置标识进行匹配；

将与匹配度最高的关键词数组具有关联关系的标签，作为所述爬虫种子的标签。

2.根据权利要求1所述的对爬虫种子打标签的方法，其特征在于，所述根据所述关键词生成各个关键词对应的位置标识，包括：

对所述关键词进行聚合后得到各个关键词的词频；

根据各个关键词的词频对关键词进行排序，生成各个关键词的位置标识。

3.根据权利要求1所述的对爬虫种子打标签的方法，其特征在于，所述预先建立标签与关键词数组的关联关系；其中，所述关键词数组包括关键词与位置标识的对应关系，所述位置标识是根据与所述位置标识具有对应关系的关键词确定，包括：

利用预设有标签的爬虫种子爬取网页内容；

从所述网页内容中提取关键词，并对属于同一组标签的各个关键词进行聚合后得到各个关键词的词频；

根据各个关键词的词频对属于同一组标签的关键词进行排序，生成各个关键词的位置标识；

将属于同一组标签的关键词与位置标识的对应关系作为关键词数组，与所述标签建立关联关系。

4.根据权利要求1所述的对爬虫种子打标签的方法，其特征在于，所述从所述网页内容中提取关键词，包括：

通过自然语言处理技术对所述网页内容进行分词处理；

利用TF-IDF算法提取所述网页内容中的关键词。

5.根据权利要求2所述的对爬虫种子打标签的方法，其特征在于，所述对所述关键词进行聚合后得到各个关键词的词频之前，还包括：

通过同义词、近义词词表，将提取到的所述关键词中的同义词、近义词规范化为统一的关键词。

6.根据权利要求1所述的对爬虫种子打标签的方法，其特征在于，所述将具有位置标识的关键词分别与所述标签与关键词数组的关联关系中的各个关键词数组进行匹配，包括：

按照对关键词进行排序得到的顺序，将各个关键词与所述关键词数组中的各个关键词进行匹配；

判断匹配成功的关键词具有的位置标识是否一致；如果一致，则将匹配度增加第一设定值；如果不一致，则将匹配度增加第二设定值；其中，所述第一设定值大于所述第二设定值。