[发明专利]基于机器学习建模抽取网页结构的方法

权利要求书

1.基于机器学习建模抽取网页结构的方法，其特征在于，

包括机器学习的网页抽取设计模式和存储录制规则；

其中，网页抽取设计模式是推荐网页字段抽取方案，主动学习网页字段抽取方法；

存储录制规则是将录制规则通过rest服务接收，并设置一组识别标签。

2.根据权利要求1所述的方法，其特征在于识别标签包括页面url、规则名称、时间戳做为数据的RowKey。

3.根据权利要求1或2所述的方法，其特征在于，主要包括如下几个方面，

1）网页结构模糊抽取，主要是根据机器建模中的概率算法提取出结构内容，若内容结构不符合，进行修改，并再次保存到建模中；

2）通过贝叶斯学习，机器建模衍生出深层次的网页抽取；

3)网页中列表及翻页的规则录制，包括采集一页简单网页的列表或表格信息，包括一列以上的可以循环翻页；

4)列表及详情录制，采集一页简单网页的列表信息及每一项的详情信息，循环翻页；

5)URL列表录制，采集数页同类型简单网页信息，每一页适用相同规则，提取到的数据汇总到同一张表；

6)单网页录制，采集一页简单的网页信息；

7)高级录制，采集一个网站信息，可以配置采集深度，间隔，过滤url，代理。

4.根据权利要求3所述的方法，其特征在于，机器建模衍生出深层次的网页抽取，通过机器建模，可以有抽取标题的选择。

5.根据权利要求4所述的方法，其特征在于，还可以抽取该标题的子类及父类的元素。