[发明专利]一种WEB信息抽取方法

说明书

技术领域

本发明属于计算机网络技术领域，尤其涉及一种网络中WEB信息抽取方法。

背景技术

伴随着Internet和计算机的普及和广泛使用，现实生活中的纸质存档信息都以电子文档的形式存储在计算机和网络上，同时Internet中产生的数据呈井喷式的增长，各大领域信息均出现在不同站点的Web页面上和数据库中。但存储在不同网点上的网页信息主要以半结构化或者非结构化的HTML语义的形式出现，因此不能用于直接分析处理。将Web页面上有用的数据提取出来，是如今网络舆情分析系统方面的研究热点。随着网络购物的发展，对Web页面信息的抽取技术提出的更高的要求。

Web信息抽取技术（Information Extraction）就是把网页里包含的某些特定信息如用户名、发表时间、IP地址、正文、评论、商品价格等信息抽取出来，进行结构化处理，组织成表格一样的形式存入数据库中。信息抽取系统的主要功能是从文本中抽取出符合特定目标的事实信息。通常，被抽取出来的信息的描述形式为结构化的数据结构，可以直接存入数据库中，供用户查询以及进一步的分析利用。信息抽取技术的初始研究开始于20世纪60年代，这个时期主要的研究是提取自然语言文本。

随着Web技术的快速发展，网络用户可以自由的针对特定的事件或对象在网页中发表自己的观点和看法，这使得网络用户评论以惊人的速度增长并且覆盖了现实世界的各个领域，如经济、政治、娱乐、网络购物等。网络用户发表的评论信息是许多应用的重要信息来源，如网络舆情的检测与分析，这些应用需要一种准确高效的方法从大量不同的网站中收集舆情信息。

随着国家对互联网安全的重视，涌现出了网络攻击、舆情、邮件等各层面的监控分析系统，为网络有害事件的发现、处理和评估提供了有力支持。但因这些信息具有海量性、定向性和复杂性等特点，除发现能力外，这些系统对有害事件的调查、取证等能力有限，目前仍然是依赖人工进行用户行为重建，办案效率低、周期长，只能采取重点突破的方式。

现有的技术中对网络组织的研究很少，缺乏相应的技术监控手段支持，人工分析更无法满足网络组织这种大范围、有组织、长程关联的行为分析，现有的网络组织发现技术零散的分布在舆情分析产品和文献中。

为此需要对这些监控数据进行综合分析。Web信息抽取技术的研究是对这些数据进行综合分析的一个基础性工作。只有将Web网页中的相关信息很好的抽取出来，才能在舆情分析、搜索引擎等方面得到更好的应用。通过利用IP地址、采集信息、账户资料、页面分析、使用时间、发布周期、地理分布、信息倾向性等多元数据进行信息抽取和特征分析，从而可以为决策人员提供更丰富的、多视角的、综合的调查材料。

发明内容

为了克服上述背景技术中的不足之处，本发明提出了一种web信息抽取方法，该方法基于语义标记，包括正文抽取方法和评论抽取方法，其特征在于包括所述正文提取方法分成以下步骤实现：

第一步，设从线性序列的头开始顺序遍历，遇到第一个F2评论属性的语义标记停止，则最后一个F2正文属性的语义标记节点的位置为POSlast，第一个具有F3评论属性的语义标记节点的位置为POSfirst；

第二步，将页面线性序列中0..POS_first-1的子序列设为初始正文区，在该区域内选择一个信息量最大的文本块作为正文内容，设该正文内容节点对应的位置为POS_article；

第三步，将调整后的正文区序列区间的终止位置设置为POS_last=max(POS_last，POS_article)；

第四步，评论区序列区间的起始位置设置为POS_first=max(POS_last，POS_article)+1，从而完成正文区和评论区的切分；

其中，F2是表示正文结束特征的语义标记, F3是表示评论开始特征的语义标记。

根据本发明的技术方案，还包括所述评论抽取方法具体包括步骤：

(1)多条评论的抽取模型，确定评论区后，评论区内线性序列的语法模型就简化为F3* (F3*C_RF3*)*F4，该模式反映评论区的多条评论具有周期性重复的特征；

(2)评论抽取方法，依据上面OneReview的初始区间确定和起始位置计算的思想，已经可以确定一条评论回复序列的完整区间模式，进而就可以利用这个模式序列去识别评论区的所有其他评论；