[发明专利]基于语义的信息采集方法及系统

权利要求书

1.一种基于语义的信息采集方法，其特征在于，包括步骤：

S1.根据网络资源的典型特征，建立网络资源抽象数据模型；

S2.借助搜索引擎从互联网采集网络信息，并将采集的网络信息用所述网络资源抽象数据模型进行格式化处理；

S3.对格式化处理后的网络信息进行聚类分析，并根据聚类分析结果将所述网络信息划分入对应的话题中，并提取每个话题的标签；

S4.对所述步骤S3中处理结果进行可视化展示。

2.根据权利要求1所述的基于语义的信息采集方法，其特征在于，所述步骤S1进一步包括：

根据互联网资源的典型特征，总结网络资源抽象数据模型模型要素，建立网络资源抽象数据模型模型。

3.根据权利要求2所述的基于语义的信息采集方法，其特征在于，所述步骤S2进一步包括：

S21.从互联网上抓取搜索引擎搜索到的网络信息；

S22.利用网页抓取分析程序组件和正则表达式的规则对抓取的网络信息进行解析分析，获取文本信息；

S23.利用所述网络资源抽象数据模型对获取的文本信息进行格式化处理。

4.根据权利要求3所述的基于语义的信息采集方法，其特征在于，所述步骤S3进一步包括：

S31.利用中文分词工具对格式化处理后的文本信息进行分词以及词性标注；

S32.根据预设的候选关键词标准，对所述步骤S31中分词结果进行过滤，获取候选关键词；

S33.统计各候选关键词对所述话题标签的贡献度，对所述网络信息进行聚类分析，并根据聚类分析结果将所述网络信息划分入对应的话题中；

S34.对所述候选关键词按照贡献度降序排列，抽取前若干个候选关键词，生成话题标签。

5.根据权利要求4所述的基于语义的信息采集方法，其特征在于，所述步骤S3进一步包括：

S35.建立所述候选关键词在知识库中的链接。

6.根据权利要求5所述的基于语义的信息采集方法，其特征在于，所述步骤S4进一步包括：

S41.根据用户提供的搜索词，以搜索引擎搜索到的前若干项网络信息为摘要，供用户判断是否所需内容：若否，则结束；若是，则继续；

S42.根据所述步骤S1-步骤S3将所述步骤S41中获取的网络信息划分入对应的话题中，并生成对应的话题标签；

S43.根据话题与单条网络信息之间的关系度排序，生成话题实体关系图以及与知识库的链接。

7.根据权利要求1-6任意一项所述的基于语义的信息采集方法，其特征在于，所述步骤S4之后还包括：

S5.根据生成的话题标签及话题标签下的网络信息，选择要打包下载的资料内容并对打包下载到的资料内容建立索引。

8.根据权利要求7所述的基于语义的信息采集方法，其特征在于，所述步骤S5之后还包括：

S6.将所述步骤S5中打包下载的资料内容复制到指定的文件夹或者目录下；自动的对复制的资料内容进行解压处理以及数据还原，并以网页的形式呈现出来供用户浏览。

9.一种根据权利要求1-8任意一项所示的方法实现的基于语义的信息采集系统，其特征在于，包括：

抽象数据模型构建模块：用于根据网络资源的典型特征，建立网络资源抽象数据模型；

网络信息采集模块：借助搜索引擎从互联网采集网络信息，并将采集的网络信息用所述网络资源抽象数据模型进行格式化处理；

聚类分析模块：对格式化处理后的网络信息进行聚类分析，并根据聚类分析结果将所述网络信息划分入对应的话题中，并提取每个话题的标签；

分析结果展示模块：用于对所述聚类分析模块的处理结果进行可视化展示。

10.根据权利要求9所述的基于语义的信息采集系统，其特征在于，还包括：

资料内容下载模块：用于根据生成的话题标签及话题标签下的网络信息，选择要打包下载的资料内容并对打包下载到的资料内容建立索引；

离线浏览模块：用于将打包下载的资料内容复制到指定的文件夹或者目录下并自动的对复制的资料内容进行解压处理以及数据还原，并以网页的形式呈现出来供用户浏览。