[发明专利]一种基于大数据分析的智能商业服务系统

权利要求书

1.一种基于大数据分析的智能商业服务系统，其特征在于，所述系统包括：数据采集入库子系统、实时数据流处理子系统、存储子系统、底层支持子系统、加密子系统和业务输出子系统；其中，

数据采集入库子系统，包括相互独立的分布式爬虫模块和数据源适配器，分布式爬虫模块和数据源适配器分别连接实时数据流处理子系统，分布式爬虫模块负责数据源头侦测、互联网数据采集和HTML预处理，数据源适配器用于将第三方数据资源接入工作；

实时数据流处理子系统连接至存储子系统，并包括相连接的临时存储模块和数据流钩子，临时存储模块以集群的内存作为缓存环境，将实时采集到的数据临时存储起来，供有实时性要求的模块读取；流数据钩子提供用于挂载的钩子，当有数据到达，钩子将数据的基本描述挂载起来，以便挂载到钩子的模块取阅；实时数据流处理子系统中设置有缓存阈值，超过缓存阈值，数据将被清空；

存储子系统连接至业务输出子系统，并包括相连接的Hadoop集群和mysql集群，Hadoop集群用于存储大量网页数据和没有随机读写需求的分析结果；mysql集群存储体积较小、需要经常随机读写的数据；

底层支持子系统，包括相连接的语义信息抽取模块和语义搜索引擎，语义信息抽取模块负责从文本中抽取语义信息，支持其他需要语义抽取、语义分析的模块，语义信息抽取模块分别连接实时数据处理子系统和业务输出子系统；语义搜索引擎集成了所有与语义搜索、文本处理相关的工具和API模块，其同时连接Hadoop集群和业务输出子系统；

加密子系统，包括将特征参数和数字信息进行组合加密的加密模块；以及将特征参数和数字信息进行组合解密的解密模块；

业务输出子系统，用于具体业务的执行、调度和展现，包括并联的精准营销模块、数据业务模块、报告生成模块、商业情报分析模块和舆情分析模块；其中，精准营销模块用于为精准营销提供数据搜集、分析和营销手段的技术支持；数据业务模块用于为满足客户特定数据需求而开展的数据搜集和语义分析；报告生成模块为客户生成简短的、概要性的、图文结合的信息概要，支持定期自动生成、报告汇总和撰写；商业情报分析模块用于商机信息分析、竞争对手分析、产业上下游动态和数据分析；舆情分析模块用于话题跟踪分析、事件和人物的相关跟踪分析、网络舆情类数据搜集和集成分析。

2.如权利要求1所述的基于大数据分析的智能商业服务系统，其特征在于，分布式爬虫模块中，对不同信息来源设定可信度权值。

3.如权利要求2所述的基于大数据分析的智能商业服务系统，其特征在于，分布式爬虫模块采用了定点蹲守式和/或启发式和/或泛采集的采集策略。

4.如权利要求3所述的基于大数据分析的智能商业服务系统，其特征在于，实时数据流处理子系统的缓存阈值为0.1～100分钟。

5.如权利要求4所述的基于大数据分析的智能商业服务系统，其特征在于，Hadoop集群为永久性存储。

6.如权利要求5所述的基于大数据分析的智能商业服务系统，其特征在于，运营数据、数据挖掘结果、语义分析结果存储于mysql集群中。

7.如权利要求6所述的基于大数据分析的智能商业服务系统，其特征在于，语义信息抽取模块采用类自然语言的语义信息抽取技术，以极其类似自然语言的形式来描述和标记自然语言文本中的语义信息。

8.如权利要求7所述的基于大数据分析的智能商业服务系统，其特征在于，语义信息抽取模块采用语义聚类技术，记录每一话题的信息量，提醒用户关注重要事件。