[发明专利]一种基于语义的大数据分析系统

权利要求书

1.一种基于语义的大数据分析系统，其特征在于，包括： 

数据采集入库部件，用于数据源头侦测、互联网数据采集和HTML预处理，并将第三方数据资源接入； 

实时数据流处理部件，用于数据流的实时处理； 

存储体系部件，用于存储Hadoop集群和mysql集群； 

底层支持部件，用于从文本中抽取语义信息，支持其他需要语义抽取、语义分析块，处理与文本检索、文本处理与语义搜索、文本处理相关的事务； 

业务层部件，用于具体业务执行、调度、展现的，与具体应用密切相关的应用集合。 

2.根据权利要求1所述的基于语义的大数据分析系统，其特征在于，所述数据采集入库部件包括： 

分布式爬虫模块，用于数据源头侦测、互联网数据采集和HTML预处理； 

数据源适配器，用于将第三方数据资源接入。 

3.根据权利要求1所述的基于语义的大数据分析系统，其特征在于，所述实时数据流处理部件包括： 

临时存储模块,以集群的内存作为缓存环境，将实时采集到的数据临时存储起来，供有实时性要求的模块读取； 

流数据钩子模块，提供实时数据处理模块挂载的钩子，基本机制为订阅-消费模型，当有数据到达，将数据的基本描述挂载起来，以便挂载到钩子系统的模块取阅。 

4.根据权利要求1或3所述的基于语义的大数据分析系统，其特征在于，所述实时数据流处理模块不保证数据的永久可读，超过一定时限后，数据将被清空，较老数据将不再可读，只能在永久存储体系中取阅。 

5.根据权利要求1所述的基于语义的大数据分析系统，其特征在于， 

所述Hadoop集群用于大量网页数据的永久性存储和没有随机读写需求的分析结果； 

所述mysql集群，用于存储运营数据、数据挖掘结果、语义分析结果。 

6.根据权利要求1所述的基于语义的大数据分析系统，其特征在于，所述底层支持部件包括： 

语义信息提取模块，用于从文本中抽取语义信息，支持其他需要语义抽取、语义分析块； 

语义搜索引擎，用于处理与文本检索、语义搜索引擎文本处理与语义搜索、文本处理相关的事务。 

7.根据权利要求1所述的基于语义的大数据分析系统，其特征在于，所述业务层部件具体用于报告生成、商业情报分析、舆情分析和数据业务。