[发明专利]一种多网页新闻评论内容自动精确提取装置

权利要求书

1.一种多网页新闻评论内容自动精确提取装置，包括动态内容URL收集装置、网页预处理装置、数据获取装置、数据自动化提取装置和输出装置，其特征在于：观察需要提取评论的网页的HTML标签结构，设计提取静态网页内容的模板，动态内容URL收集装置从新闻评论网页URL队列中获取URL，根据URL的来源进行分类并存储；网页预处理装置将已经对应描述模板的网页直接交给数据获取装置，将还没有对应描述模板的网页，提取网页的完整标签、寻找包含有价值信息的标签，运用模拟工具提供的接口精确提取模板并保存，将新闻评论的第一页URL交给数据获取装置；数据获取装置实例化浏览器对象，设置浏览器对象等待网页中所有Javascript的时间阈值，设置Ajax的通信方式，使异步的Ajax通信同步化，使浏览器对象直接接收Ajax的响应，与服务器进行同步通信，使用设置完的浏览器对象对URL进行内容提取；数据自动提取装置根据URL的来源选择信息提取时使用的模板，根据模板进行信息的精确提取，将提取出来的信息传递给信息存储装置，判断当前页码是否为最后一页，若不是则进行翻页操作，继续提取信息；信息存储装置接收数据提取装置传送的信息，对信息进行分类存储。

2.根据权利要求1所述的一种多网页新闻评论内容自动精确提取装置，其特征在于：所述设计提取静态网页内容的模板时对于可以查看源码的网页，直接使用浏览器模拟工具的接口制作模板；对于不能查看源码的网页，使用浏览器模拟工具获得网页的HTML标签结构，然后利用浏览器工具的接口制作模板。

3.根据权利要求1或2所述的一种多网页新闻评论内容自动精确提取装置，其特征在于：所述内容提取的过程中，对于不引用他人评论的评论，可以直接进行提取；对于引用他人评论的评论，根据引用他人评论的评论中的特殊标签进行判断，提取该条评论的实际内容，剔除引用的评论内容。

4.根据权利要求3所述的一种多网页新闻评论内容自动精确提取装置，其特征在于：所述的时间阈值大于浏览器工具执行完URL对应的Javascript所需的时间。