[发明专利]网页内容识别方法、装置、服务器

权利要求书

1.一种网页内容识别方法，其特征在于，所述网页内容识别方法包括：

确定至少一个训练站点，并在每个训练站点内采集多个训练网页；

获取每个训练网页内被选定的内容对应的区块的视觉特征；

对所述视觉特征进行数据处理得到特征向量；以及

利用训练工具根据所述特征向量建立所述被选定的内容的识别模型。

2.如权利要求1所述的网页内容识别方法，其特征在于，确定至少一个训练站点，并在每个训练站点内采集多个训练网页的步骤包括：

根据所述训练站点的流行度确定每个训练站点采集的训练网页的数量。

3.如权利要求1所述的网页内容识别方法，其特征在于，获取每个训练网页内被选定的内容对应的区块的视觉特征的步骤包括：

选定训练网页内需标注的内容；

解析所述需标注的内容的XPath；以及

根据所述XPath查找被选定的内容对应的区块的视觉特征。

4.如权利要求1所述的网页内容识别方法，其特征在于，所述视觉特征包括数值型特征；

对所述视觉特征进行数据处理得到特征向量的步骤包括：

在向量中占一位表示一种所述数值型特征。

5.如权利要求1所述的网页内容识别方法，其特征在于，所述视觉特征包括非数值型特征；

对所述视觉特征进行数据处理得到特征向量的步骤包括：

以横向的one-hot representation模式表示所述非数值型特征。

6.如权利要求1所述的网页内容识别方法，其特征在于，所述训练工具为GBDT训练工具。

7.如权利要求1所述的网页内容识别方法，其特征在于，所述网页内容识别方法还包括:

接收网页的特征标识，并根据所述特征标识查找到待识别网页；

将所述待识别网页的所有区块的视觉特征转换为特征向量；以及

利用识别模型根据所述待识别网页的特征向量识别出待识别网页中相应的内容的XPath。

8.如权利要求7所述的网页内容识别方法，其特征在于，所述网页内容识别方法还包括：

根据所述待识别网页中相应的内容的XPath抽取所述待识别网页的相应内容。

9.一种网页内容识别装置，其特征在于，所述网页内容识别装置包括：

数据采集模块，用于确定至少一个训练站点，并在每个训练站点内采集多个训练网页；

视觉特征获取模块，用于获取每个训练网页内被选定的内容对应的视觉特征；

数据处理模块，用于对所述视觉特征进行数据处理得到特征向量；以及

模型建立模块，用于利用训练工具根据所述特征向量建立所述被选定的内容的识别模型。

10.如权利要求9所述的网页内容识别装置，其特征在于，所述数据采集模块根据所述训练站点的流行度确定每个训练站点采集的训练网页的数量。

11.如权利要求9所述的网页内容识别装置，其特征在于，所述视觉特征获取模块包括：

选定单元，用于选定训练网页内需标注的内容；

解析单元，用于解析所述需标注的内容的XPath；以及

获取单元，用于根据所述XPath查找被选定的内容对应的区块的视觉特征。

12.如权利要求9所述的网页内容识别装置，其特征在于，所述数据处理模块包括：

数值型特征处理单元，用于将所述视觉特征中的数值型特征在向量中占一位表示。

13.如权利要求9所述的网页内容识别装置，其特征在于，所述数据处理模块包括：

非数值型特征处理单元，用于将所述视觉特征中的非数值型特征以横向的one-hotrepresentation模式表示。