[发明专利]一种基于大数据分析的智能商业服务系统

说明书

技术领域

本发明涉及大数据处理技术领域，具体而言，涉及一种基于大数据分析的智能商业服务系统。

背景技术

在我国社会发展的新时期，中小型企业异军突起，遂成为中国市场上日益旺盛的力量。他们渴望发展壮大，需要信息服务，却没有资本雄厚的大型集团公司的实力和精力来自己组建信息机构。信息资源是企业最重要的资源之一，开发信息资源是企业信息化的出发点，又是企业信息化的“归宿”。

随着信息化程度不断加深，企业对“大数据”分析服务的渴求也日益强烈。互联网持续增长信息资源蕴含了巨量的具有商业价值的信息，成为重要的商业智能服务信息源头，但是，由于互联网数据量庞大、获取难度大、单位价值相对低、几乎全是文本等非结构数据等难点，其价值并没有被业界充分开发和利用。

对于企业来说，“效率就是生命，时间就是金钱”。互联网只有积极提供信息服务手段，利用现代化技术设备，实现资源共享，有组织、有计划、有目的地进行信息的收集和加工，才能为中小型企业提供更方便、快捷和全方位的参考咨询服务，加快企业领导决策速度，为企业在市场经济中赢得机遇。

发明内容

本发明的目的在于提供一种基于大数据分析的智能商业服务系统，实现了对互联网富含的商业信息地精准分析，可以方便快捷的为中小型企业提供商业智能服务。

为了实现上述目的，本发明实施例采用的技术方案如下：

本发明实施例提供了一种基于大数据分析的智能商业服务系统，所述系统包括：数据采集入库子系统、实时数据流处理子系统、存储子系统、底层支持子系统、加密子系统和业务输出子系统；其中，

数据采集入库子系统，包括相互独立的分布式爬虫模块和数据源适配器，分布式爬虫模块和数据源适配器分别连接实时数据流处理子系统，分布式爬虫模块负责数据源头侦测、互联网数据采集和HTML预处理，数据源适配器用于将第三方数据资源接入工作；

实时数据流处理子系统连接至存储子系统，并包括相连接的临时存储模块和数据流钩子，临时存储模块以集群的内存作为缓存环境，将实时采集到的数据临时存储起来，供有实时性要求的模块读取；流数据钩子提供用于挂载的钩子，当有数据到达，钩子将数据的基本描述挂载起来，以便挂载到钩子的模块取阅；实时数据流处理子系统中设置有缓存阈值，超过缓存阈值，数据将被清空；

存储子系统连接至业务输出子系统，并包括相连接的Hadoop集群和mysql集群，Hadoop集群用于存储大量网页数据和没有随机读写需求的分析结果；mysql集群存储体积较小、需要经常随机读写的数据；

底层支持子系统，包括相连接的语义信息抽取模块和语义搜索引擎，语义信息抽取模块负责从文本中抽取语义信息，支持其他需要语义抽取、语义分析的模块，语义信息抽取模块分别连接实时数据处理子系统和业务输出子系统；语义搜索引擎集成了所有与语义搜索、文本处理相关的工具和API模块，其同时连接Hadoop集群和业务输出子系统；

加密子系统，包括将特征参数和数字信息进行组合加密的加密模块；以及将特征参数和数字信息进行组合解密的解密模块；

业务输出子系统，用于具体业务的执行、调度和展现，包括并联的精准营销模块、数据业务模块、报告生成模块、商业情报分析模块和舆情分析模块；其中，精准营销模块用于为精准营销提供数据搜集、分析和营销手段的技术支持；数据业务模块用于为满足客户特定数据需求而开展的数据搜集和语义分析；报告生成模块为客户生成简短的、概要性的、图文结合的信息概要，支持定期自动生成、报告汇总和撰写；商业情报分析模块用于商机信息分析、竞争对手分析、产业上下游动态和数据分析；舆情分析模块用于话题跟踪分析、事件和人物的相关跟踪分析、网络舆情类数据搜集和集成分析。

进一步的，分布式爬虫模块中，对不同信息来源设定可信度权值。

进一步的，分布式爬虫模块采用了定点蹲守式和/或启发式和/或泛采集的采集策略。

进一步的，实时数据流处理子系统的缓存阈值为0.1～100分钟。

进一步的，Hadoop集群为永久性存储。

进一步的，运营数据、数据挖掘结果、语义分析结果存储于mysql集群中。

进一步的，语义信息抽取模块采用类自然语言的语义信息抽取技术，以极其类似自然语言的形式来描述和标记自然语言文本中的语义信息。

进一步的，语义信息抽取模块采用语义聚类技术，记录每一话题的信息量，提醒用户关注重要事件。

进一步的，所述加密子系统中的加密模块将特征参数和数字信息进行组合加密的加密方法包括以下步骤：