[发明专利]一种网页信息抽取方法及装置

权利要求书

1.一种网页信息抽取方法，其特征在于，包括：

获取网页的文档对象模型DOM树和所述网页的展示页面截图；

根据所述网页的DOM树确定所述网页的候选元素以及候选元素的文本信息；

根据所述网页的展示页面截图确定所述网页的候选位置信息；

根据各候选位置信息、各候选元素的文本信息确定所述网页的各候选元素作为目标抽取元素的第一概率；

根据各候选位置信息确定所述网页的各候选位置作为目标抽取元素对应的目标抽取位置的第二概率；

根据所述第一概率和所述第二概率从各候选元素和各候选位置中确定目标抽取元素和所述目标抽取元素对应的目标抽取位置；

根据确定为目标抽取元素的候选元素和确定为所述目标抽取元素对应的目标抽取位置的候选位置对所述网页进行信息抽取。

2.如权利要求1所述的方法，其特征在于，所述根据各候选位置信息、各候选元素的文本信息确定所述网页的各候选元素作为目标抽取元素的第一概率，包括：

将各候选位置信息、各候选元素的文本信息输入神经网络模型；

通过所述神经网络模型预测输出各候选元素作为目标抽取元素的第一概率。

3.如权利要求1所述的方法，其特征在于，所述根据各候选位置信息确定所述网页的各候选位置作为目标抽取元素对应的目标抽取位置的第二概率，包括：

将各候选位置信息输入目标抽取元素对应的空间概率分布模型；

通过所述空间概率分布模型预测输出各候选位置作为目标抽取元素对应的目标抽取位置的第二概率。

4.如权利要求1所述的方法，其特征在于，所述根据所述第一概率和所述第二概率从各候选元素和各候选位置中确定目标抽取元素和所述目标抽取元素对应的目标抽取位置，包括：

将各候选元素中第一概率满足第一预设条件的候选元素确定为所述目标抽取元素；

将各候选位置中第二概率满足第二预设条件的候选位置确定为所述目标抽取元素对应的目标抽取位置。

5.如权利要求1所述的方法，其特征在于，所述根据所述第一概率和所述第二概率从各候选元素和各候选位置中确定目标抽取元素和所述目标抽取元素对应的目标抽取位置，包括：

根据所述第一概率和所述第二概率确定各候选元素和各候选位置的关联概率；

将满足第三预设条件的关联概率对应的候选元素和候选位置确定为目标抽取元素和所述目标抽取元素对应的目标抽取位置。

6.如权利要求1所述的方法，其特征在于，所述根据所述网页的DOM树确定所述网页的候选元素以及候选元素的文本信息，包括：

将所述DOM树中叶节点的上一层节点确定为所述网页的候选元素；

针对任意一个候选元素，根据所述候选元素在DOM树中位置对所述候选元素的内容进行文本编码，确定所述候选元素的文本信息。

7.一种网页信息抽取装置，其特征在于，包括：

获取模块，用于获取网页的文档对象模型DOM树和所述网页的展示页面截图；

处理模块，用于根据所述网页的DOM树确定所述网页的候选元素以及候选元素的文本信息；根据所述网页的展示页面截图确定所述网页的候选位置信息；根据各候选位置信息、各候选元素的文本信息确定所述网页的各候选元素作为目标抽取元素的第一概率；根据各候选位置信息确定所述网页的各候选位置作为目标抽取元素对应的目标抽取位置的第二概率；根据所述第一概率和所述第二概率从各候选元素和各候选位置中确定目标抽取元素和所述目标抽取元素对应的目标抽取位置；根据确定为目标抽取元素的候选元素和确定为所述目标抽取元素对应的目标抽取位置的候选位置对所述网页进行信息抽取。

8.如权利要求7所述的装置，其特征在于，所述处理模块具体用于：

将各候选位置信息、各候选元素的文本信息输入神经网络模型；

通过所述神经网络模型预测输出各候选元素作为目标抽取元素的第一概率。