[发明专利]一种实现软硬件结合的面向应用的大数据系统及方法

说明书

技术领域

本发明涉及大数据领域，尤指一种实现软硬件结合的面向应用的大数据系统及方法。

背景技术

大数据指的是大小超出常规的数据库工具获取、存储、管理和分析能力的数据集，并不是说一定要超过特定万亿字节(TB)值的数据集才能算是大数据。国际数据公司(IDC)从四个特征定义大数据，即海量的数据规模(Volume)、快速的数据流转和动态的数据体系(Velocity)、多样的数据类型(Variety)和巨大的数据价值(Value)。大数据几乎渗透到国民经济的所有部门，应用领域涉及信息服务、智慧城市、金融、制造业、国家安全和科学研究等。但目前这些行业处理大数据时，至少会面临如下的问题：

1、数据存储与管理

大数据给存储系统带来了3个方面的挑战：存储规模大，通常达到PB(1,000TB)甚至EB(1,000PB)量级；存储管理复杂，需要兼顾结构化、非结构化和半结构化的数据；上层应用对存储系统的性能、可靠性等指标有不同的要求，而数据的大规模和高复杂度放大了达到这些指标的技术难度。

2、数据分析处理

传统的并行计算方法主要从体系结构和编程语言的层面定义了一些较为底层的并行计算抽象和模型，但由于大数据处理问题具有很高层的数据特征和计算特征，因此大数据处理需要更多地结合这些高层特征考虑更为高层的计算模式。大数据处理包括以下典型的特征和维度：

1)数据结构特征

可分为结构化数据处理、半结构化数据处理与非结构化数据处理。

2)数据获取处理方式

按照数据获取方式，大数据可分为批处理与流式计算方式。

3)数据处理类型

从数据处理类型来看，大数据处理可分为传统的查询分析计算和复杂的数据挖掘分析计算。

4)实时性

从数据计算响应性能角度看，大数据处理可分为实时/准实时与非实时计算，或者是联机计算与离线计算。

5)并行计算体系结构

由于需要支持大规模数据的存储计算，大数据处理通常需要使用基于集群的分布式存储与并行计算体系结构和硬件平台。

3、数据系统使用及日常运维

目前大数据系统与传统关系型数据库(比如Oracle、MySql等)相比，对于企业IT人员在使用和日常运维方面还有不小的难度。一方面，大数据系统相关配套工具很零散或不成熟(比如数据导入导出、数据安全、备份容灾等)；另一方面由于大数据系统部署在集群上，服务器数量较多，怎样减少人工操作成本和提高效率，这对大数据系统进行监控和运维提出了很大挑战。

4、应用迁移与开发难度

目前行业内大部分的应用系统都不是基于大数据平台，随着数据规模的增大，这些应用系统已逐渐满足不了日常需求，需要在大数据系统框架下进行应用系统迁移或重构。但大数据应用的开发跟传统应用的开发还是有很大区别，加上缺乏面向行业解决方案的开发工具包，使得行业内大数据应用系统开发成本及难度很高，难以短时间内进行普及。

另外，现有的平台级的大数据系统及产品，每个都侧重于解决一种应用场景，而现实中大数据应用一般都是混合型场景，比如既包含批处理又包含查询分析，并且现有技术中并没有通过对硬件的一些限定来适应大数据平台运行的方法这至少会带来三个问题：第一，平台的多样性会给用户的选择与搭配能力带来极大挑战；第二，需要有为应用场景定制的硬件才能使平台发挥出其优势，采取通用硬件往往达不到最佳效果或者造成浪费；第三，目前这些平台基本是面向通用性，缺乏对具体行业应用的支持，使用及应用开发难度比较大，离用户还有一定距离。

发明内容

为了解决上述技术问题，本发明提供了一种实现软硬件结合的面向应用的大数据系统及方法，能够屏蔽平台多样性对用户带来的选择和搭配的难度，充分利用软硬件结合的优势以及结合大数据平台工具提高易用性，极大地提高了行业大数据应用的开发质量和效率。

为了达到上述发明目的，本发明公开了一种实现软硬件结合的面向应用的大数据系统，包括：硬件层、基础平台层、平台增强层；其中，

硬件层，用于根据应用场景以及系统需求对硬件进行定制，并对基础平台层提供硬件支撑；

基础平台层，用于根据大数据平台搭配能力以及应用场景的策略，选择一个或者几个大数据平台；

平台增强层，用于根据基础平台层选择的所述大数据平台提供相应的大数据平台工具；

其中，所述应用场景为用户应用需求或用户应用场景。

进一步地，大数据平台搭配能力以及应用场景的策略包括：