[发明专利]构建标注网页语料库的方法及装置

权利要求书

1.一种构建标注网页语料库的方法，包括：

针对预先选取的初始种子网页生成初始种子标注网页语料，所述初始种子网页为不同类型的网页组成的集合，所述初始种子标注网页语料为标注出正文和标题的种子网页；

按照所述初始种子标注网页语料的关键词从搜索引擎中获取预设个数的相关种子网页；

按照所述初始种子网页标注语料对所述相关种子网页进行标注，得到相关种子标注网页语料；以及

判断所述相关种子标注网页语料和所述初始种子标注网页语料是否满足预设条件，如果是，则将所述相关种子标注网页语料和所述初始种子标注网页语料组合为标注网页语料库；如果否，则将所述相关种子标注网页语料作为初始种子标注网页语料，并执行所述按照所述初始种子标注网页语料的关键词从搜索引擎中获取预设个数的相关种子网页的步骤。

2.根据权利要求1所述的方法，其中，所述按照所述初始种子网页标注语料对所述相关种子网页进行标注的步骤，包括：

按照所述初始种子标注网页语料中标注出的正文的子集，对所述相关种子网页的正文进行标注；

按照所述初始种子标注网页语料中标注出的标题，对所述相关种子网页的标题进行标注；以及

将所述相关种子网页中未标注的内容标注为其他。

3.根据权利要求2所述的方法，其中，所述对所述相关种子网页的正文进行标注的步骤，包括：

从初始种子标注网页语料中提取正文的子集；所述子集为所述初始种子标注网页的正文的任一个或多个部分的内容；

依据所述子集的初始起始部分和初始结束部分从所述相关种子网页中查找对应的相关起始部分和相关结束部分；

按照内容提取工具对所述相关种子网页进行内容提取，得到提取起始部分和提取结束部分；以及

判断所述相关起始部分和提取起始部分，以及所述相关结束部分与所述提取结束部分是否相同，如果是，则将所述相关起始部分和相关结束部分之间的内容标注为正文，如果否，则将所述提取起始部分和提取结束部分之间的内容标注为正文。

4.根据权利要求2所述的方法，其中，所述对所述相关种子网页的标题进行标注的步骤，包括：

判断相关种子网页的标题与所述初始种子网页的标题是否一致，如果是，则对所述相关种子网页的标题进行标注；如果否，则结束对所述相关种子网页的标题标注过程。

5.根据权利要求1所述的方法，其中，所述判断所述相关种子标注网页语料和所述初始种子标注网页语料是否满足预设条件的步骤，包括：

判断所述相关种子标注网页语料和所述初始种子标注网页语料是否都已经进行了扩充；或者

判断所述相关种子标注网页语料和所述初始种子标注网页语料是否达到预先设定的规模。

6.一种构建标注网页语料库的装置，包括：

生成模块，用于针对预先选取的初始种子网页生成初始种子标注网页语料，所述初始种子网页为不同类型的网页组成的集合，所述初始种子标注网页语料为标注出正文和标题的种子网页；

获取模块，用于按照所述初始种子标注网页语料的关键词从搜索引擎中获取预设个数的相关种子网页；

标注模块，用于按照所述初始种子网页标注语料对所述相关种子网页进行标注，得到相关种子标注网页语料；

判断模块，用于判断所述相关种子标注网页语料和所述初始种子标注网页语料是否满足预设条件；

组合模块，用于当所述判断模块的结果为是时，将所述相关种子标注网页语料和所述初始种子标注网页语料组合为标注网页语料库；以及

触发模块，用于当所述判断模块的结果为否时，将所述相关种子标注网页语料作为初始种子标注网页语料，并触发所述获取模块。

7.根据权利要求6所述的装置，其中，所述标注模块包括：

第一标注子模块，用于按照所述初始种子标注网页语料中标注出的正文的子集，对所述相关种子网页的正文进行标注；

第二标注子模块，用于按照所述初始种子标注网页语料中标注出的标题，对所述相关种子网页的标题进行标注；以及

第三标注子模块，用于将所述相关种子网页中未标注的内容标注为其他。