[发明专利]基于位置标记的网页信息抽取方法和装置

权利要求书

1.一种基于位置标记的网页信息抽取方法，包括以下步骤：

获取训练页面，所述训练页面中标注了至少一个属性，被标注属性的内容与网页中需要抽取的文本内容对应；

获取所述训练页面中多个属性的前缀标签，所述前缀标签包括当前属性与前一属性之间的所有标签，所述多个属性包括所述被标注属性；

在所述被标注属性的前缀标签中选取所述被标注属性的起始标记；

在所述被标注属性之后的标签中选取结束标记；

在需要抽取的网页中查询所述起始标记和所述结束标记，并抽取所述起始标记和所述结束标记之间的属性内容，以得到所述属性内容中包含的信息。

2.根据权利要求1所述的方法，其中，所述起始标记为所述被标注属性的前缀标签中的标签或者标签组合，所述标签或者标签组合满足以下条件：在所述多个属性的前缀标签中，所述标签或者标签组合仅出现在所述被标注属性的前缀标签中。

3.根据权利要求2所述的方法，其中，在所述被标注属性的前缀标签中选取所述被标注属性的起始标记包括：

将所述被标注属性之前相邻的标签记为备选标记；

判断所述备选标记是否在所述多个属性的前缀标签中唯一，如果是，将所述备选标记作为所述起始标记，

如果否，将与所述备选标记之前相邻的标签与所述备选标记进行组合，组合结果记为新的备选标记，直至挑选出所述起始标记或者所述被标注属性的前缀标签中的标签组合均不唯一。

4.根据权利要求2所述的方法，其中，将所述被标注属性之前相邻的标签记为备选标记之前还包括:

将所述被标注属性的前缀标签按照与所述被标注属性的邻近关系距离进行排序，其中所述被标注属性之前相邻的标签记为排序第一的标签。

5.根据权利要求1所述的方法，其中，在所述被标注属性之后的标签中选取结束标记包括：

选取所述被标注属性之后相邻的标签作为其结束标记。

6.根据权利要求1至5中任一项所述的方法，其中，获取训练页面包括:

获取所述需要抽取的文本内容，并将所述需要抽取的文本内容作为目标属性值；

从目标网站中选取网页作为所述训练页面；

在所述训练页面中查询与所述目标属性值相同或相近的属性，并将所述相同或相近的属性作为所述被标注属性。

7.根据权利要求6所述的方法，其中，在所述训练页面中查询与所述目标属性值相同或相近的属性，包括：

在所述训练页面中判断是否存在属性值与所述目标属性值相同的属性，如果是，将该与所述目标属性值相同的属性作为所述被标注属性；

如果否，将所述目标属性值进行切分，根据所述训练页面中文本行与切分后的属性值的相似度得出与所述目标属性值相近的属性。

8.根据权利要求7所述的方法，其中，将所述目标属性进行切分包括：

去除所述训练页面中所有的标签，得到网页中文本行组成的数组；

计算所述数组中文本行的平均长度；

将所述目标属性值按照所述平均长度进行切分。

9.根据权利要求8所述的方法，其中，根据所述训练页面中文本行与切分后的属性值的相似度得出与所述目标属性值相近的属性包括：

分别计算所述训练页面中各文本行与切分后的属性值的相似度；

选择出相似度最高的一个或多个文本行；

分别判断所述一个或多个文本行的相似度是否大于预设阈值，并且将所述一个或多个文本行与各自相邻的文本行进行结合，判断结合后的文本对所述切分后的属性值的相似度是否增大；

选择以上判断结果均为是的文本行作为与所述目标属性值相近的属性。

10.一种网页信息抽取装置，包括以下模块：

第一获取模块，用于获取训练页面，所述训练页面中标注了至少一个属性，被标注属性的内容与网页中需要抽取的文本内容对应；

第二获取模块，用于获取所述训练页面中多个属性的前缀标签，前缀标签包括当前属性与前一属性之间的所有标签，所述多个属性包括所述被标注属性；

第一选取模块，用于在所述被标注属性的前缀标签中选取所述被标注属性的起始标记；

第二选取模块，用于在选取所述被标注属性之后的标签中选取结束标记；

信息抽取模块，用于在需要抽取的网页中查询所述起始标记和所述结束标记，并抽取所述起始标记和所述结束标记之间的属性内容，以得到所述属性内容中包含的信息。