[发明专利]一种信息获取方法和系统、设备及存储介质

说明书

本发明公开了一种信息获取方法和系统、设备及存储介质，属于信息技术领域。数据采集模块、中文分词模块、中文名词打分模块、热点提取模块、内容推荐模块和相似度文档推荐模块，其中，数据采集模块，用于定向抓取数据对象的文档内容，并发送给热点提取模块；中文分词模块，用于提取数据对象的文档内容中的中文名称；中文名词打分模块，用于筛选数据对象的文档内容中的关键词；热点提取模块，用于对数据对象的文档内容关键词评分后提取涉及到的热点；内容推荐模块，用于推荐与数据对象关联的内容；相似度分析模块，用于计算数据对象的文档内容之间的相似性。通过采集数据对象的文档内容信息，提取关键字、热点及其之间的关联性，有选择的推荐文档内容给用户，避免信息冗余。

技术领域

本发明涉及信息技术领域，尤其涉及一种信息获取方法和系统、设备及存储介质。

背景技术

现代科学技术每天都在改变着世界，影响着人们的生活和工作方式。尤其是近年来，移动互联网、大数据、云计算等新型技术的迅猛发展，人们在网络空间从事的活动范围不断扩大，微博、微信、微视等新的互联网应用模式出现，使得人们已经进入了大数据时代和信息消费时代，随着Web2.0技术的不断发展，涌现出各类基于社会关系和群体智慧特征的网络平台，如搜索引擎、博客、微信、微博、论坛等，互联网表现出了显著的社会化特征。人们可以通过多种网络平台获取视频、图像、文本、声音等多媒体资源，并进行传播、发布；从中国互联网络信息中心的《中国互联网络发展状况统计报告》中看出,截止2014 年6月，中国网民数量已达6.32亿，互联网普及率达46.9％，较2013年底提高了1.1个百分点。其中手机上网的网民比例占83.4％，相比2013年底上升了 2.4个百分点，首次超越传统PC上网的比例(80.9％)。互联网的普及率呈现快速上升趋势，尤其是移动互联网的发展将带动整体互联网发展，网民生活已全面“网络化”。

互联网规模的不断扩大，随之而来的是网络信息资源的爆炸式增长，但面对互联网浩如烟海的信息资源，如何有效地快速获取自己所需或用户感兴趣的内容，真正使互联网上海量的网络信息资源得以充分利用，并推动信息消费，依然是一个急需解决的难题。通过深入分析互联网搜索相关技术，发现一个问题：信息获取的冗余程度较高。在日常工作生活中，不难发现同类信息或表述相同的网络新闻、资讯等信息在各大互联网站反复的出现。这种大量同类信息的重复出现，导致用户在获取所需精准信息的时间过长，进一步影响用户的体验心理。在信息化水平快速增长的今天，对精准信息快速准确的把握，才能有效充分利用信息的价值，促进信息消费。因此，帮助用户去除网络冗余信息，提高信息检索速度，获取精准信息，节约时间是一个需解决的问题。一些组织部门在筛选不同信息文档也同样存在上述问题，信息获取的冗余程度较高。这一问题亟待解决。

发明内容

1.发明要解决的技术问题

为了克服上述技术问题，本发明提供了一种信息获取方法和系统、设备及存储介质。通过采集数据对象的文档内容信息，提取关键字、热点及其之间的关联性，有选择的推荐文档内容给用户，避免信息冗余。

2.技术方案

为解决上述问题，本发明提供的技术方案为：

第一方面，本发明提供了一种信息获取系统，包括数据采集模块、中文分词模块、中文名词打分模块、热点提取模块、内容推荐模块和相似度文档推荐模块，其中，数据采集模块，用于定向抓取数据对象的文档内容，并发送给热点提取模块；中文分词模块，用于提取数据对象的文档内容中的中文名称；中文名词打分模块，用于筛选数据对象的文档内容中的关键词；热点提取模块，用于对数据对象的文档内容关键词评分后提取涉及到的热点；内容推荐模块，用于推荐与数据对象关联的内容；相似度分析模块，用于计算数据对象的文档内容之间的相似性。

优选地，所述定向抓取数据对象的文档内容包括各领域的信息内容。

优选地，所述提取数据对象的文档内容中的中文名称，采用中文分词IKAnalyzer，并搭配收集的数据对象领域的中文词库。