[发明专利]数据管理装置及方法

说明书

本发明公开了一种数据管理装置，包括：数据镜像管理单元、数据高速分发单元、数据缓存单元、数据永久存储单元等。数据镜像管理单元用以接收和分发海量数据访问请求，并进行数据存在性查询判断；数据高速分发单元用以计算并提供到达最终用户的最短数据传输路径；数据缓存单元用以加快数据的读写速度，以及缓存经数据处理单元处理的结果数据；数据永久存储单元用以永久存储数据镜像管理单元从外部的客户数据系统中获取的数据，并为该数据管理装置提供原始形态的数据。本发明大大降低了数据永久存储单元和数据处理单元的请求压力，以完全非侵入式方式访问和处理位于客户自定义单元中的数据，逐步降低直至完全消除对客户数据系统的依赖性。

技术领域

本发明关于一种云计算技术，特别是涉及一种数据管理装置及方法。

背景技术

经过近20年的发展，互联网技术如今已经非常成熟，并随着近年来移动设备特别是智能手机的快速普及所导致的数据产生门槛下降，全社会的数据总量快速增加。2011年全球的数据总量已达1800ＥＢ，预计2015年将达7900ＥＢ，保持每两年翻一番的速度。

随着数据总量的飞速递增，社会对于云存储服务的需求越来越强烈。云存储服务可以以低廉的单位存储成本管理海量的数据，且不会随着数据量的发展而导致访问性能的逐渐下降。

对于在云存储服务普及之前已经采用传统方式管理着大量数据的企业而言，如何在保持服务不中断的前提下平滑而安全的将历史数据迁移至云存储系统中已成为他们之前最大的一道障碍。

现有的技术已经在业界广泛使用的是内容分发网络。通过将所有对源数据系统的请求路由到内容分发网络，内容分发网络可以感知频繁被访问的内容并存储到内容分发网络的缓存节点，从而同时达到降低对源站访问压力和提高访问性能的目的。但内容分发网络无法完全脱离对源数据系统的依赖性，从而无法达成非常广泛的普适性。

海量数据的存储、访问、处理这三大问题通常同时出现，只解决其中一到两个问题并不能解决复杂的数据管理技术问题。随着数据量的迅速增加，原先搭建的数据处理基础设施已经不堪使用，频繁出现用户访问量大增时，经常导致数据处理系统反应迟钝，无法及时响应用户对数据的访问。因此发明一种可以在不完全推翻原有基础设施的前提下将数据平滑迁移到先进的云存储系统的方法已变得非常急迫。

发明内容

为克服上述现有技术存在的不足，本发明提出一种数据管理装置，包括：数据镜像管理单元、数据高速分发单元、数据缓存单元、数据永久存储单元以及数据处理单元，其中，

数据镜像管理单元用以接收和分发海量数据访问请求，并进行数据存在性查询判断；

数据高速分发单元用以计算并提供到达最终用户的最短数据传输路径；

数据缓存单元用以加快数据的读写速度，以及缓存经数据处理单元处理的结果数据；

数据永久存储单元用以永久存储数据镜像管理单元从外部的客户数据系统中获取的数据，并为该数据管理装置提供原始形态的数据；

数据处理单元用以根据计算压力在海量的计算节点之间的负载进行均衡，按访问请求附带的数据处理需求对输入的原始数据进行相应处理，并作为输出写入到目标位置。

进一步地，数据处理单元包括有一数据处理挂载模块，用以挂载具体的数据处理程序，实现在高并发场景下仍然能够以稳定的效率执行数据处理过程。

进一步地，所述数据高速分发单元还支持上传下载双向传输加速功能，用 以将数据进行高速分发。

进一步地，所述数据永久存储单元为一次性获取客户数据并永久保存。

进一步地，所述数据镜像管理单元还从外部的客户数据系统中抓取尚不存在于数据永久存储单元中的相应数据并放入数据永久存储单元。

本发明还提供一种数据的管理方法，包括如下步骤：