[发明专利]大数据分析系统

说明书

技术领域

本发明涉及一种大数据分析系统，尤其是一种涉及大数据广告、大数据商品推送分析的系统。

背景技术

近年来，互联网的发展越来越迅速，使用互联网的人也越来越普及，人们在使用互联网进行日常的活动的时候，例如网购，查看节目，信息，商品都会产生大量的数据，而这些数据对于电子商务网站或者互联网媒体类网站来说是非常宝贵的，利用这些大数据的处理分析能得到非常宝贵的商业价值。

大数据广泛应用于互联网各项应用中，对网站的价值意义重大，通过海量数据分析和云计算的实现，可以最大化帮助互联网媒体类网站广告系统和电子商务类网站大数据商品推送系统得到最大化的提升。互联网媒体类网站大数据广告根据用户阅读偏好推送，针对海量数据的云计算，通过各种广告形式推送到网站浏览用户，例如应用在商会网(www.netcoc.com)；电子商务类网站大数据商品推送给在线购买者，通过分析用户点击行为、购买行为、产品相关性、偏好及使用时间规律推送相应的商品及促销信息，例如应用在品得商城(www.pedemall.com)。

大数据的出现，正在引发全球范围内深刻的技术与商业变革。在技术上，大数据使从数据当中提取信息的常规方式发生了变化。在搜索引擎和在线广告中发挥重要作用的机器学习，被认为是大数据发挥真正价值的领域。在海量的数据中统计分析出人的行为、习惯等方式，最大程度帮助广告主找到精准潜在客户，从而提升广告效果和后续购买操作。

但是当前大数据应用存在着诸多的缺点，例如：1、数据的分析需要基于海量的数据积累。目前大数据需要根据数以百万计的用户及其历史行为进行分析，而绝大部分的平台或企业缺乏大数据依托，往往是小数据、中数据，此外行为习惯、购买记录、阅读记录等数据也比较匮乏。2、数据分析需要强大的软硬件支持。目前大数据的计算有较高的门槛，所以大数据的计算还不是很普及。现在大数据计算主要有下面两类生态圈：A、开源大数据生态圈，其中包括(1)、HadoopHDFS、HadoopMapReduce,HBase、Hive渐次诞生，早期Hadoop生态圈逐步形成。(2)、.Hypertable是另类。它存在于Hadoop生态圈之外，但也曾经有一些用户。(3)、NoSQL，membase、MongoDb。B、商用大数据生态圈，其中包括(1)、一体机数据库/数据仓库：IBMPureData(Netezza),OracleExadata,SAPHana等等。(2)、数据仓库：TeradataAsterData,EMCGreenPlum,HPVertica等等。(3)、数据集市：QlikView、Tableau、以及国内的YonghongDataMart。还有值得一提的是，大数据必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘(SaaS)，但它必须依托云计算的分布式处理、分布式数据库(PaaS)和云存储、虚拟化技术(IaaS)，所以说大数据计算有较高的门槛。3、数据分析需要依赖大量专业人士的解码。大数据的行为模型，需要有较强的数学统计要求、计算机建模要求，目前国内还缺乏此类人才。比如需要掌握数据库管理系统的使用能力-Oracle，概率统计学-MATLAB等。4、数据分析结果还存在误判。大数据的分析结果往往不具备实时性、针对性，原始数据采样精准度和统计方法的差异性，以及建模结构性错误，都会导致分析有误。此外不同的使用场景也会带来完全不同的结果。

发明内容

本发明的主要目的在于提供大数据分析系统，根据大数据分析系统能够提升网站的广告传播的精准度和商城商品展示的精准度。

本发明的另一目的在于提供一种大数据分析系统，通过大数据系统分析技术使得平台能迅速了解用户的行为习惯和偏好，并在其使用过程中实时动态交互，让感兴趣的广告及商品在恰当的时间以友好的网站形式进行展示，解决了传统广告和商品展示不精准的问题。

本发明的另一目的在于提供一种大数据分析系统，解决了国内企业在软硬件上的缺陷，以及操作人员的经验不足，帮忙平台克服原始数据凌乱、大数据模型建模、数据分析及预测等问题，提供实时且相对有效的数据支持。

本发明的另一目的在于提供一种大数据分析系统，依托云计算能够对大数据进行分布式数据挖掘，可以有效挖掘网站用户行为数据，并实时有效地做云计算处理。

本发明的另一目的在于提供一种大数据分析系统，其中包含的Storm拓扑结构可在不需要专业人员的情况下实时矫正数据分析偏差。

为了实现以上目的，本发明提供一种大数据分析系统，包括：根据本发明的优选实施例，包括：