[发明专利]一种高效地生成网页信息抽取规则的方法及系统

说明书

本发明公开了一种高效地生成网页信息抽取规则的方法及系统，具体包括以下步骤：S1、页面结构自动识别以及Html结构与Json结构的判定：首先通过网页信息采集技术获取该网页的源码，分析其结构是通用的Html结构还是Json结构，Html结构与Json结构的判定是通过Html标签来判断Html结构，通过开源Json解析器解析Json结构，考虑到自动解析可能存在误判，该步骤支持人工纠错；该高效地生成网页信息抽取规则的方法及系统，可以克服纯人工配置抽取规则的低效问题，避免纯自动化抽取的精准度下降的问题，满足了企业级系统应用对精度及工作效率的要求，在不影响抽取精度的前提下，又提高了自动化程度，大大提高了网页信息抽取工作的效率以及实用性。

技术领域

本发明涉及计算机网页采集技术领域，具体为一种高效地生成网页信息抽取规则的方法及系统。

背景技术

网页是构成网站的基本元素，是承载各种网站应用的平台，通俗地说，网站就是由网页组成的，如果只有域名和虚拟主机而没有制作任何网页的话，使用者将无法访问网站，也无法通过人机会话来实现其使用意图。

网页是一个包含HTML标签的纯文本文件，它可以存放在世界某个角落的某一台计算机中，是万维网中的一“页”，是超文本标记语言格式，网页通常用图像档来提供图画，文字与图片是构成一个网页的两个最基本的元素，可以简单地理解为：文字就是网页的内容，图片就是网页的美观，除此之外，网页的元素还包括动画、音乐、程序等，网页需要通过网页浏览器来完成人与计算机的信息交互。

传统的生成网页信息抽取规则的技术方案主要有两种：第一种方案是由技术人员通过对网页结构的观察，使用专用的计算机语言或软件工具，自行编写、生成抽取规则。比较常见的专用计算机语言有：正则表达式，比较常见的软件工具有：xpath和css选择器。采用这种技术方案所能够达到的效果，很大程度上依赖于编写规则的技术人员的专业水平，即：对网页结构的理解程度以及对正则表达式、xpath和css选择器等技术的掌握程度。不同网站的网页结构不同，不同技术人员的专业度也不相同，导致该技术方案受主观因素影响成分较多，工作效率和质量偏差较大，不能有效地产生技术成果；第二种方案是技术人员通过软件工具，将网页抽象成文档结构树(DOM-Tree)的形式，结合概率统计学知识，计算文档结构树(DOM-Tree)中所有节点的相似概率，得到符合文本密度特征的文档结构树(DOM-Tree)节点，采用这种基于概率模型生成网页信息抽取规则的方案，所产生的技术成果不能够满足抽取精度的要求。

在企业级的系统应用中，以单“日”为级别的网页采集数量通常为在万、十万以上。上述两种技术方案在企业级的系统应用中均存在致命缺陷，第一种方案的效率与质量难以保证，第二种方案的精度难以保证。在此技术背景下，急需发明一种高效地生成网页信息抽取规则的方法及系统，来同时满足效率与精度的要求，本发明应运而生。

发明内容

(一)解决的技术问题

针对现有技术的不足，本发明提供了一种高效地生成网页信息抽取规则的方法及系统，解决了纯人工生成网页信息抽取规则的低效以及纯自动化生成网页信息抽取规则的精度难以保证的问题。

(二)技术方案

为实现以上目的，本发明通过以下技术方案予以实现：一种高效地生成网页信息抽取规则的方法及系统，具体包括以下步骤：

S1、页面结构自动识别以及Html结构与Json结构的判定：首先通过网页信息采集技术获取该网页的源码，分析其结构是通用的Html结构还是Json 结构，Html结构与Json结构的判定是通过Html标签来判断Html结构，通过开源Json解析器解析Json结构，考虑到自动解析可能存在误判，该步骤支持人工纠错；