[发明专利]一种智能化网页内容自动模糊抽取系统

说明书

本发明公开了一种智能化网页内容模糊抽取系统，包括模块A：HTML网页语料库的预处理；模块B：HTML网页内容的快速多重索引的自动生成；模块C：候选业务主题的生成；模块D：候选业务主题的模糊验证；模块E：候选业务主题与对应的XPath关联；模块F：HTML网页内容的抽取。这种方法具有两个优势：(1)不依赖网页内容抽取模板。(2)对网页中的业务主题进行自动模糊识别，准确判断它们的含义。上述两个特点，确保了本发明的网页内容自动抽取的准确率和召回率。

技术领域

本发明涉及网页内容的自动分析和抽取领域，特别是涉及一种智能化网页内容自动模糊抽取系统及方法。

背景技术

HTML网页信息抽取技术主要是指从HTML(hyper-text markup language)或者HTML5(hyper-text markup language 5)等语言编写的网页中抽取所需的重要内容，并将抽取的内容转化为某种预先设定的格式，这些内容对商家分析、商品和服务分析、政府监管等重大应用极其关键。

随着互联网、移动互联网的迅速普及，各种基于互联网的应用不断发展，各种业态的网站不断出现。为了吸引用户，商家的网站也设计出别具一格的、各种风格的网页。

这些网页设计上的业务主题多样性、页面形式多样性，给网页内容自动分析和内容抽取造成了极大的挑战，同时也使得与网页分析相关的应用难以取得满意的效果。

因此，本发明面临的关键技术难题是：如何自动处理HTML网页多样性的问题，并且完成网页内容的准确抽取？

为了认识上述技术难题，下面给出一些具体的分析。每一个网页内容都表达一定的业务主题，不同行业(或者不同业务)的业务主题也千差万别，无法进行统一规定。即使是同一行业(或者同一业务)的两个商家，他们在给业务主题命名时，名称也是五花八门。例如，为了满足小微企业、中低收入阶层投融资需求，为大众创业、万众创新打开了大门，近几年我国互联网金融发展迅速，出现了几千个互联网金融网站。在这些网站上，关于“融资目标”这一业务主题的命名，可以是“融资需求”、“筹款目标”、“融资额度”等等。这些词在形式上是不同的，但是它们反映的主题就是“融资目标”。另外，一个网页(特别是首页)通常伴随着较多的噪声或干扰内容，如广告信息、导航信息、版权信息等等。尽管这些内容在网页中具有一定的作用，但是这些内容对于其它重要内容的抽取却毫无用处，也严重干扰了网页内容抽取的准确率。

传统上，网页内容抽取是基于人工预设模板的抽取，即基于预先设计的抽取模板，抽取系统自动抽取网页内容。由于网页形式的多样性，人工建立的模板不仅耗费大量的人工，而且也难以覆盖快速发展的网站需求，因此基于人工预设模板的抽取方法非常低效。

发明内容

本发明所要解决的技术问题：针对以上问题，本发明提出一种具有自动模糊抽取能力的网页内容自动抽取系统及方法。这种方法具有两个优势：(1)不依赖网页内容抽取模板。(2)对网页中的业务主题进行自动模糊识别，准确判断它们的含义。上述两个特点，确保了本发明的网页内容自动抽取的准确率和召回率。本发明借助人工智能分析技术，利用对风格各异的网站网页进行自动识别，提出了一种精准高效的网页内容模糊抽取系统及方法，为其它的网页应用(统计分析、商家发现、商机发现、政府监管等)提供必要的结构化信息。

技术方案：为了解决以上问题，本发明的采用了如下技术方案，一种智能化网页内容模糊抽取系统及方法，包括：一种智能化网页内容模糊抽取系统，其特征在于，包括以下模块：

模块A：HTML网页语料库的预处理；

模块B：HTML网页内容的快速多重索引的自动生成；

模块C：候选业务主题的生成；

模块D：候选业务主题的模糊验证；

模块E：候选业务主题与对应的XPath关联；