[发明专利]一种数据业务处理方法及装置

说明书

本发明公开了一种数据业务处理方法及装置，所述方法包括：根据接收到的数据业务处理请求，从存储原数据的第一存储系统中读取待处理数据；根据所述待处理数据和数据业务处理请求的属性，选择第二存储系统；将所述待处理数据存储到第二存储系统中，并根据数据业务处理请求对待处理数据进行计算处理，且将产生的处理结果存储到第三存储系统中；从第三存储系统中获取处理结果，作为所述数据业务处理请求的响应结果；从所述第二存储系统中删除所述待处理数据，根据需要决定是否删除所述第三存储系统中的处理结果。本发明对各个存储系统的操作抽象化，封装成统一的接口，实现用户对系统的控制更加简单、方便，不同业务采用统一的架构不同的存储系统，灵活应用、可靠性高。

技术领域

本发明涉及云计算领域，具体涉及数据业务处理领域，尤其涉及一种数据业务处理方法及装置。

背景技术

随着互联网技术的突飞猛进及网络信息技术的快速发展，数据的传播速度日益加快，数据的飞涨也增加了数据信息处理的难度。从企业角度来看，日益增长的信息已经很难存储在标准关系数据库甚至数据仓库中，例如，如何查询一个十亿行的表，怎样跨越数据中心所有服务器上的日志进行一个数据查询，如果有的数据是非结构化或者半结构化的数据，就更难进行数据查询了。

Hadoop实现了一个分布式文件系统(Hadoop Distributed File System)，简称HDFS。HDFS可以分布式地操作大量数据，在海量数据上处有很大的优势。它主要有以下几个优势：

1、高可靠性。Hadoop按位存储和处理数据的能力值得人们信赖。

2、高扩展性。Hadoop是在可用的计算机集簇间分配数据并完成计算任务的，这些集簇可以方便地扩展到数以千计的节点中。

3、高效性。Hadoop能够在节点之间动态地移动数据，并保证各个节点的动态平衡，因此处理速度非常快。

4、高容错性。Hadoop能够自动保存数据的多个副本，并且能够自动将失败的任务重新分配。

然而，HDFS是由中央文件系统维护元数据，无法避免单点故障。此外对小文件的处理存在先天不足和只支持WORM(一次写多次读)，对于希望在大数据环境中实现更可靠，更高程度的灵活性、更好可扩展性的企业，仅仅依靠HDFS的性能无法满足企业的需求。

发明内容

有鉴于此，本发明实施例提供一种数据业务处理方法及装置，以提高存储系统的灵活性和可靠性。

第一方面，本发明实施例提供了一种数据业务处理方法，所述方法包括：

根据接收到的数据业务处理请求，从第一存储系统中存储的原数据中读取待处理数据；

根据所述待处理数据和数据业务处理请求的属性，选择第二存储系统；

将所述待处理数据存储到第二存储系统中，并根据数据业务处理请求对待处理数据进行计算处理，且将产生的处理结果存储到第三存储系统中；

从第三存储系统中获取处理结果，作为所述数据业务处理请求的响应结果；

从所述第二存储系统中删除所述待处理数据，所述第三存储系统中的所述处理结果根据需要决定是否删除。

进一步地，所述第一存储系统、第二存储系统及第三存储系统的类型相同或不同，为下述存储系统中的任意一个：分布式对象存储系统、分布式块存储系统和分布式文件系统。

进一步地，根据接收到的数据业务处理请求，从第一存储系统中存储的原数据中读取待处理数据包括：根据接收到的数据业务处理请求中的目标数据地址，基于类Map/Reduce计算框架计算目标数据在第一存储系统和第二存储系统的映射关系，根据所述映射关系从原数据中读取待处理数据。