[发明专利]一种多网页新闻评论内容自动精确提取装置

说明书

技术领域

本发明属于多网页动态文字内容自动精确提取领域，特别涉及一种提取各大门户网站或者论坛动态生成的评论，为分析网络舆情提供资源库的自动精确提取出所需信息内容的装置。

背景技术

Ajax是Asynchronous Javascript+XML的缩写。Ajax技术的基本思想是允许一个互联网浏览器向一个远程页面发出异步的HTTP调用，并且用返回的结果更新当前显示数据的部分Web页面而不必刷新整个页面。Ajax的核心是Javascript对象XmlHttpRequest。它是一种支持异步请求的技术，使用XmlHttpRequest可以向服务器提出请求并处理响应，而不阻塞用户对网页其它内容的访问请求，页面无需整体刷新，在页面内与服务器通信。该技术能够改善客户端的体验，使得HTTP页面外观与使用感觉很类似于Windows桌面应用程序。同时使用异步方式与服务器通信，不需要打断用户的操作，具有更加迅速的响应能力，可以把以前一些服务器负担的工作转到客户端，利用客户端闲置的处理能力，该技术已经被标准化并得到广泛支持，不需要下载额外的插件或者支持程序。

鉴于Ajax的多种优点，包括新浪、搜狐、网易、腾讯在内的各大门户网站不约而同地使用这项技术来支持各自的查看评论的功能。门户网站的新闻每天都会收到数量庞大的网民的评论，这些评论涵盖了时事、经济、电子产品等各个领域，如果能够自动收集来自于这些网站的新闻评论，便可以为从不同角度对网民的舆情进行分析提供资源。对于商家来说，获得民众对于其产品的全面回馈无疑是一件非常有利的事情。对于掌握民众对时事的舆论趋势，网络评论也是非常重要的资料来源。因为门户网站的各个新闻版块相互独立，比如：经济、文化、体育等，评论也是各自独立成块的，所以只需要把各个版块的链接中对应的评论提取出来，不需要其他的分类，就可以得到该版块网民的评论。

在动态内容提取方面已经申请的专利有申请号为200910133630.5的专利《一种Ajax网页内容的抓取方法及系统》。该专利中的方法可以提取到部分动态网页的内容。对于内容不是通过用户的点击、选择来获取的动态网页，该方法就不能获得网页内容了。此外，该方法及系统需要分析繁琐的Javascript代码来确定哪个函数是调用Ajax来进行通信的。同时，对于浏览器模拟工具来说，并不是点击后获得网页的内容就可以得到网页动态生成的内容，需要设置等待网页执行完所有的Javascript代码，内容才能完全被浏览器模拟工具获得到，该方法中没有涉及相关技术。

发明内容

本发明的目的在于提供一种多网页新闻评论内容自动精确提取装置。

本发明的目的是这样实现的：

多网页新闻评论内容自动精确提取装置，包括动态内容URL收集装置、网页预处理装置、数据获取装置、数据自动化提取装置和输出装置，观察需要提取评论的网页的HTML标签结构，设计提取静态网页内容的模板，动态内容URL收集装置从新闻评论网页URL队列中获取URL，根据URL的来源进行分类并存储；网页预处理装置将已经对应描述模板的网页直接交给数据获取装置，将还没有对应描述模板的网页，提取网页的完整标签、寻找包含有价值信息的标签，运用模拟工具提供的接口精确提取模板并保存，将新闻评论的第一页URL交给数据获取装置；数据获取装置实例化浏览器对象，设置浏览器对象等待网页中所有Javascript的时间阈值，设置Ajax的通信方式，使异步的Ajax通信同步化，使浏览器对象直接接收Ajax的响应，与服务器进行同步通信，使用设置完的浏览器对象对URL进行内容提取；数据自动提取装置根据URL的来源选择信息提取时使用的模板，根据模板进行信息的精确提取，将提取出来的信息传递给信息存储装置，判断当前页码是否为最后一页，若不是则进行翻页操作，继续提取信息；信息存储装置接收数据提取装置传送的信息，对信息进行分类存储。

设计提取静态网页内容的模板时对于可以查看源码的网页，直接使用浏览器模拟工具的接口制作模板；对于不能查看源码的网页，使用浏览器模拟工具获得网页的HTML标签结构，然后利用浏览器工具的接口制作模板。

内容提取的过程中，对于不引用他人评论的评论，可以直接进行提取；对于引用他人评论的评论，根据引用他人评论的评论中的特殊标签进行判断，提取该条评论的实际内容，剔除引用的评论内容。

时间阈值大于浏览器工具执行完URL对应的Javascript所需的时间。