[发明专利]一种基于语义的大数据分析系统

说明书

技术领域

本发明涉及数据网络技术领域，尤其涉及一种基于语义的大数据分析系统。

背景技术

在2012年早些时候，包括软件、硬件以及服务在内的大数据市场规模约为50亿美元。随着时间的推移，大数据的能量将逐步引起更多的关注，企业需要相关的分析能力以取得竞争优势进而改善运营效率，而相关的技术以及服务会相继部署，大数据市场规模将大幅壮大。目前市场上类似产品提供的系统的重心在于对企业的内部数据得分析，对于海量的来自web一些文本等非结构数据由于获取难度相对较大、单位价值相对较低等难点，其价值目前尚未被业充分开发和利用。

发明内容

为了解决背景技术中存在的技术问题，本发明提出了一种基于语义的大数据分析系统，实现基于web的大数据分析，不但精准度高、提供语义信息丰富，而且极具实用性和可产业化。

本发明提出的一种基于语义的大数据分析系统，包括：

数据采集入库部件，用于数据源头侦测、互联网数据采集和HTML预处理，并将第三方数据资源接入；

实时数据流处理部件，用于数据流的实时处理；

存储体系部件，用于存储Hadoop集群和mysql集群；

底层支持部件，用于从文本中抽取语义信息，支持其他需要语义抽取、语义分析块，处理与文本检索、文本处理与语义搜索、文本处理相关的事务；

业务层部件，用于具体业务执行、调度、展现的，与具体应用密切相关的应用集合。

优选地，所述数据采集入库部件包括：

分布式爬虫模块，用于数据源头侦测、互联网数据采集和HTML预处理；

数据源适配器，用于将第三方数据资源接入。

优选地，所述实时数据流处理部件包括：

临时存储模块,以集群的内存作为缓存环境，将实时采集到的数据临时存储起来，供有实时性要求的模块读取；

流数据钩子模块，提供实时数据处理模块挂载的钩子，基本机制为订阅-消费模型，当有数据到达，将数据的基本描述挂载起来，以便挂载到钩子系统的模块取阅。

优选地，所述实时数据流处理模块不保证数据的永久可读，超过一定时限后，数据将被清空，较老数据将不再可读，只能在永久存储体系中取阅。

优选地，

所述Hadoop集群用于大量网页数据的永久性存储和没有随机读写需求的分析结果；

所述mysql集群，用于存储运营数据、数据挖掘结果、语义分析结果。

优选地，所述底层支持部件包括：

语义信息提取模块，用于从文本中抽取语义信息，支持其他需要语义抽取、语义分析块；

语义搜索引擎，用于处理与文本检索、语义搜索引擎文本处理与语义搜索、文本处理相关的事务；

优选地，所述业务层部件具体用于报告生成、商业情报分析、舆情分析和数据业务。

本发明中，基于组合理论的类自然语言规则的文本语义处理系统，有效的解决了基于web的大数据分析问题，不但精准度高、提供语义信息丰富，而且极具实用性和可产业化等特点，因此市场前景非常广阔。本发明，通过研究中小型企业的特点及信息需求，从互联网大数据中提取、分析满足其需求的个性化的商机信息和情报分析服务，帮助其实现精准营销、洞察行业内及上下游产业的动态趋势、把握商机和规避风险、迅速做出科学的决策等方面的商业智能服务，产业化应用前景广阔。

附图说明

图1为本发明实施例提出的一种基于语义的大数据分析系统结构图。

具体实施方式

如图1所示，本发明实施例提出了一种基于语义的大数据分析系统，包括：数据采集入库部件10、实时数据流处理部件20、存储体系部件30、底层支持部件40和业务输出部件50。

数据采集入库部件10，包括：分布式爬虫模块11，用于数据源头侦测、互联网数据采集和HTML(HyperText Mark-up Language，超文本标记语言)预处理等方面的工作；数据源适配器12，用于将第三方数据资源的接入工作，例如客户指定的需要分析的数据，可通过数据源适配器介入到系统的处理流程。