[发明专利]基于语义的信息采集方法及系统

说明书

技术领域

本发明涉及数据挖掘技术领域，具体涉及一种基于语义的信息采集方法及系统。

背景技术

网络资料（资源）是指互联网上各种信息资源的总和，包括电子文献、数据库、数字化文献、数字化书目、电子报刊、网络新闻等各种形式的知识、资料、情报、消息等的集合

互联网上的资料信息具有数据量大、更新速度快、时效性强等特点，每天有大量的网络信息产生，为了帮助用户从“信息爆炸”的困境中解脱出来，目前各大门户网站和主要的搜索引擎公司都会提供海量的网络资源，即在一个版面内，将互联网信息通过全方位、多角度的展现，介绍网络资源的相关情况，分析其特点。通常情况下，这些网络资料都是通过编辑人员人工进行组织。

网络资料的自动化组织，是指为方便用户浏览和获取网络资料信息，利用信息抽取和数据挖掘等相关技术，依据一定的规范或模式，将零散、无序的网络资料信息予以系统化、有序化的过程。因此，研究如何对网络资料进行有效、合理的自动化组织，成为一个迫切需要解决的问题，网络资料的自动化组织也越来越受到用户的广泛关注：对于各大互联网网站，它可以取代过去人工对网络资料的组织；而对于普通网络资料用户，它则可以利用计算机的快速处理能力和相关成熟技术，进一步完善网络资料的组织模式，从而提高用户的浏览效率。

网络资料内包含多种不同类型的网络信息，如资源分类、资源包含的信息类型、时间、相关人物、地点、组织机构等，这些不同类别的信息并非孤立地存在于网络中，而是互相依赖，并通过某种关系紧密联系在一起。因此，如何有效地将这些不同类别的信息融合在一起，是网络资料自动化组织的关键，这也正是本文研究的目标所在。

网络资源组织的相关技术中，话题检测能够将分散的网络资源有效地汇集并组织起来，然而由于网络资源内信息相似度较高，基于传统向量空间模型的话题检测效果不佳；合理的网络资源组织模式能够更好地帮助用户去理解和探析网络资源的信息，然而现有组织模式单一，难以呈现其的多维特征。

发明内容

（一）要解决的技术问题

本发明的目的在于提供一种基于语义的信息采集方法及系统，由话题驱动进行网络资源组织、可视化展示以及对网络资源的下载和离线查看，从而可以多维度的对网络信息进行展现，以形象、直观的方式将网络信息呈现给用户，进一步提高用户的浏览效率。

（二）技术方案

本发明技术方案如下：

一种基于语义的信息采集方法，包括步骤：

S1.根据网络资源的典型特征，建立网络资源抽象数据模型；

S2.借助搜索引擎从互联网采集网络信息，并将采集的网络信息用所述网络资源抽象数据模型进行格式化处理；

S3.对格式化处理后的网络信息进行聚类分析，并根据聚类分析结果将所述网络信息划分入对应的话题中，并提取每个话题的标签；

S4.对所述步骤S3中处理结果进行可视化展示。

优选的，所述步骤S1进一步包括：

根据互联网资源的典型特征，总结网络资源抽象数据模型模型要素，建立网络资源抽象数据模型模型。

优选的，所述步骤S2进一步包括：

S21.从互联网上抓取搜索引擎搜索到的网络信息；

S22.利用网页抓取分析程序组件和正则表达式的规则对抓取的网络信息进行解析分析，获取文本信息；

S23.利用所述网络资源抽象数据模型对获取的文本信息进行格式化处理。

优选的，所述步骤S3进一步包括：

S31.利用中文分词工具对格式化处理后的文本信息进行分词以及词性标注；

S32.根据预设的候选关键词标准，对所述步骤S31中分词结果进行过滤，获取候选关键词；

S33.统计各候选关键词对所述话题标签的贡献度，对所述网络信息进行聚类分析，并根据聚类分析结果将所述网络信息划分入对应的话题中；

S34.对所述候选关键词按照贡献度降序排列，抽取前若干个候选关键词，生成话题标签。

优选的，所述步骤S3进一步包括：

S35.建立所述候选关键词在知识库中的链接。

优选的，所述步骤S4进一步包括：

S41.根据用户提供的搜索词，以搜索引擎搜索到的前若干项网络信息为摘要，供用户判断是否所需内容：若否，则结束；若是，则继续；

S42.根据所述步骤S1-步骤S3将所述步骤S41中获取的网络信息划分入对应的话题中，并生成对应的话题标签；