[发明专利]面向海量读者阅读数据的大数据处理系统

说明书

技术领域

本发明涉及一种面向海量读者阅读数据的大数据处理系统，属于计算机应用技术领域。

背景技术

大数据（big data），或称巨量数据、海量数据；是由数量巨大、结构复杂、类型众多数据构成的数据集合，是基于云计算的数据处理与应用模式，通过数据的集成共享，交叉复用形成的智力资源和知识服务能力。在商业领域指的是所涉及的资料规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。网络上每笔搜索，网站上每一笔交易，敲打键盘，点击鼠标的每一个输入都是数据，整理起来分析排行，不仅仅止于事后被动地了解市场，搜集起来的数据还可以引导开发更大的消费量。

随着每天互联网上海量数据的产生，数据分析尤其显得重要。众所周知，大数据已经不简简单单是数据大的事实了，而最重要的现实是对大数据进行分析，只有通过分析才能获取很多智能的，深入的，有价值的信息。那么越来越多的应用涉及到大数据，而这些大数据的属性，包括数量、速度、多样性等等都是呈现了大数据不断增长的复杂性，所以大数据的分析方法在大数据领域就显得尤为重要，可以说是决定最终信息是否有价值的决定性因素。基于如此的认识，大数据可以基于以下五个方面分析：

可视化分析（Analytic Visualizations）：

大数据分析的使用者有大数据分析专家，同时还有普通用户，但是他们二者对于大数据分析最基本的要求就是可视化分析，因为可视化分析能够直观的呈现大数据特点，同时能够非常容易被读者所接受，就如同看图说话一样简单明了。

数据挖掘算法（Data Mining Algorithms）：

大数据分析的理论核心就是数据挖掘算法，各种数据挖掘的算法基于不同的数据类型和格式才能更加科学的呈现出数据本身具备的特点，也正是因为这些被全世界统计学家所公认的各种统计方法（可以称之为真理）才能深入数据内部，挖掘出公认的价值。另外一个方面也是因为有这些数据挖掘的算法才能更快速的处理大数据，如果一个算法得花上好几年才能得出结论，那大数据的价值也就无从说起了。

预测性分析能力（Predictive Analytic Capabilities）：

大数据分析最终要的应用领域之一就是预测性分析，从大数据中挖掘出特点，通过科学的建立模型，之后便可以通过模型带入新的数据，从而预测未来的数据。语义引擎（Semantic Engines）：大数据分析广泛应用于网络数据挖掘，可从用户的搜索关键词、标签关键词、或其他输入语义，分析，判断用户需求，从而实现更好的用户体验和广告匹配。

数据质量和数据管理（Data Quality and Master Data Management)：

大数据分析离不开数据质量和数据管理，高质量的数据和有效的数据管理，无论是在学术研究还是在商业应用领域，都能够保证分析结果的真实和有价值。 大数据分析的基础就是以上五个方面，当然更加深入大数据分析的话，还有很多很多更加有特点的、更加深入的、更加专业的大数据分析方法。

大数据同过去的海量数据有所区别，其基本特点可以用4个V来总结：Volume（大量）、ariety（多样）、Value（价值）、Velocity（快速）。

1) Volume，海量的数据规模：指代大型数据集，一般10TB规模左右，但在实际应用中，已经从从TB级别跃升到PB级别。

2) Variety，多样的数据类型：数据来自多种数据源，数据种类和格式日渐丰富，已冲破了以前所限定的结构化数据范畴，囊括了半结构化和非结构化数据；如网络日志、视频、图片、地理位置信息，等等。

3) Value，巨大的数据价值：只要合理利用数据并对其进行正确、准确的分析，将会带来很高的价值回报。

4) Velocity，数据处理速度快：在数据量非常庞大的情况下，也能够做到数据的实时处理；1秒定律，这一点也是和传统的数据挖掘技术有着本质的不同。

发明内容

本发明正是针对现有技术存在的需求，提供一种面向海量读者阅读数据的大数据处理系统，能够满足海量的数据规模和多样的数据类型的快速数据处理需求。

为解决上述问题，本发明所采取的技术方案如下：

一种面向海量读者阅读数据的大数据处理系统，包括：

将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的基础设施：所述基础设施由云计算资源池、分布式云存储和软件定义网络构成；