[发明专利]提取结构化数据的方法及装置

权利要求书

1.一种提取结构化数据的方法，其特征在于，包括：

将网页划分为主体区域和辅助区域，构建用于表示所述主体区域的XPATH标记树，该步骤包括：解析网页，获取所述网页的XPATH节点；根据所述XPATH节点的属性对所述XPATH节点进行过滤，获取体现网页结构布局的XPATH节点；将所述体现网页结构布局的XPATH节点划分为用于表示主体区域的XPATH节点和用于表示辅助区域的XPATH节点，提取用于表示所述主体区域的XPATH节点构建XPATH标记树；

将所述XPATH标记树中的XPATH节点与CSS标签进行对应，并根据CSS标签内容的相似度将所述CSS标签进行分组；

若所述XPATH标记树中各个XPATH节点的CSS标签均属于同一分组，且所述各个XPATH节点的CSS标签是属于同一父标签下的子标签，则提取所述XPATH标记树中各个XPATH节点对应的数据作为正文内容。

2.如权利要求1所述的提取结构化数据的方法，其特征在于，所述根据CSS标签内容的相似度将所述CSS标签进行分组的步骤包括：

提取所述CSS标签内容中的特征属性，所述特征属性包括字体大小、颜色和/或行间距；

将所述特征属性一致的CSS标签作为一个分组。

3.如权利要求1所述的提取结构化数据的方法，其特征在于，所述方法还包括：

若所述XPATH标记树中各个XPATH节点的CSS标签不属于同一分组，或所述各个XPATH节点的CSS标签不是属于同一父标签下的子标签，则选择CSS标签数量最多的分组作为最优分组，提取所述最优分组中的CSS标签所对应的XPATH节点下的数据作为正文内容。

4.如权利要求1所述的提取结构化数据的方法，其特征在于，所述方法还包括：

若所述XPATH标记树中各个XPATH节点的CSS标签不属于同一分组，或所述各个XPATH节点的CSS标签不是属于同一父标签下的子标签，则统计各个分组中的CSS标签的数量，剔除数量最少的一组CSS标签对应的XPATH节点，提取所述XPATH标记树中剩余XPATH节点对应的数据作为正文内容。

5.一种提取结构化数据的装置，其特征在于，包括：

主体区域提取模块，用于将网页划分为主体区域和辅助区域，构建用于表示所述主体区域的XPATH标记树；所述主体区域提取模块包括：网页解析模块，用于解析网页，获取所述网页的XPATH节点；粗略过滤模块，用于根据所述XPATH节点的属性对所述XPATH节点进行过滤，获取体现网页结构布局的XPATH节点；XPATH标记树构建模块，用于将所述体现网页结构布局的XPATH节点划分为用于表示主体区域的XPATH节点和用于表示辅助区域的XPATH节点，提取用于表示所述主体区域的XPATH节点构建XPATH标记树；

CSS标签对应模块，用于将所述XPATH标记树中的XPATH节点与CSS标签进行对应；

CSS标签分组模块，用于根据CSS标签内容的相似度将所述CSS标签进行分组；

正文提取模块，用于若所述XPATH标记树中各个XPATH节点的CSS标签均属于同一分组，且所述各个XPATH节点的CSS标签是属于同一父标签下的子标签，则提取所述XPATH标记树中各个XPATH节点对应的数据作为正文内容。

6.如权利要求5所述的提取结构化数据的装置，其特征在于，所述CSS标签分组模块包括：

特征属性提取模块，用于提取所述CSS标签内容中的特征属性，所述特征属性包括字体大小、颜色和/或行间距；

特征属性对比模块，用于将所述特征属性一致的CSS标签作为一个分组。

7.如权利要求5所述的提取结构化数据的装置，其特征在于，所述装置还包括：

第一优化模块，用于若所述XPATH标记树中各个XPATH节点的CSS标签不属于同一分组，或所述各个XPATH节点的CSS标签不是属于同一父标签下的子标签，则选择CSS标签数量最多的分组作为最优分组，提取所述最优分组中的CSS标签所对应的XPATH节点下的数据作为正文内容。

8.如权利要求5所述的提取结构化数据的装置，其特征在于，所述装置还包括：

第二优化模块，用于若所述XPATH标记树中各个XPATH节点的CSS标签不属于同一分组，或所述各个XPATH节点的CSS标签不是属于同一父标签下的子标签，则统计各个分组中的CSS标签的数量，剔除数量最少的一组CSS标签对应的XPATH节点，提取所述XPATH标记树中剩余XPATH节点对应的数据作为正文内容。