[发明专利]基于集群访问的数据处理方法及装置

说明书

本发明公开了一种基于集群访问的数据处理方法及装置，该方法包括：接收来自客户端的数据请求；基于预先构建的用于索引各个集群系统的第一索引信息，确定数据请求的集群访问类型，集群访问类型包括：单集群访问和跨集群访问；当数据请求的集群访问类型为跨集群访问的情况下，根据数据请求，生成多个子数据请求，使得每个子数据请求用于请求访问一个集群系统上存储的数据；将各个子数据请求发送至各个集群系统，接收各个集群系统基于第二索引信息对各个子数据请求所请求的数据进行处理并返回的数据处理结果，将各个集群系统返回的数据处理结果合并，并返回客户端。本发明将各个集群系统的数据关联后返回客户端，能够避免客户端主机性能受到影响。

技术领域

本发明涉及大数据技术领域，尤其涉及一种基于集群访问的数据处理方法及装置。

背景技术

本部分旨在为权利要求书中陈述的本发明实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

众所周知，对于大数据领域的应用来说，由于数据量级很大，一个项目环境中往往存在多个集群系统(例如，Hadoop集群系统)，分别用于存储不同系统的数据，或者分离冷热数据，而在一些数据统计、检索、分析的场景中，则经常会需要同时对多个集群系统中的数据进行关联查询。例如，一个网管项目环境中，城域网、无线接入网、有线接入网、CDN等分别都有各自的集群系统(例如，Hadoop平台)，但在对网络质量或故障定段分析的时候，经常需要进行跨集群访问的数据关联查询。

当需要对多个集群系统(例如，Hadoop集群系统)上存储的数据进行关联处理的时候，现有技术采用的方案是，由各个集群系统对数据进行处理后，在客户端对各个集群系统的数据处理结果进行关联，导致客户端主机性能受到影响且网络传输带宽压力比较大。

针对上述问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供一种基于集群访问的数据处理方法，用以解决现有技术在对多个集群系统上存储的数据进行关联处理的时候，由各个集群系统对数据进行处理后，在客户端对各个集群系统的数据处理结果进行关联，导致客户端主机性能受到影响且网络传输带宽压力比较大的技术问题，该方法包括：接收来自客户端的数据请求，其中，数据请求用于请求访问一个或多个集群系统上存储的数据；基于预先构建的第一索引信息，确定数据请求的集群访问类型，其中，集群访问类型包括：单集群访问和跨集群访问，第一索引信息用于索引各个集群系统；当数据请求的集群访问类型为跨集群访问的情况下，根据数据请求，生成多个子数据请求，其中，每个子数据请求用于请求访问一个集群系统上存储的数据；将各个子数据请求发送至各个集群系统，并接收各个集群系统返回的数据处理结果，其中，各个集群系统基于各自内部预先构建的第二索引信息，对各个子数据请求所请求的数据进行处理，每个集群系统的第二索引信息用于索引每个集群系统上存储的数据；将各个集群系统返回的数据处理结果合并，并返回客户端。

本发明实施例还提供一种基于集群访问的数据处理装置，用以解决现有技术在对多个集群系统上存储的数据进行关联处理的时候，由各个集群系统对数据进行处理后，在客户端对各个集群系统的数据处理结果进行关联，导致客户端主机性能受到影响且网络传输带宽压力比较大的技术问题，该装置包括：数据请求接收模块，用于接收来自客户端的数据请求，其中，数据请求用于请求访问一个或多个集群系统上存储的数据；集群访问类型判断模块，用于基于预先构建的第一索引信息，确定数据请求的集群访问类型，其中，集群访问类型包括：单集群访问和跨集群访问，第一索引信息用于索引各个集群系统；数据请求处理模块，用于当数据请求的集群访问类型为跨集群访问的情况下，根据数据请求，生成多个子数据请求，其中，每个子数据请求用于请求访问一个集群系统上存储的数据；数据处理模块，用于将各个子数据请求发送至各个集群系统，并接收各个集群系统返回的数据处理结果，其中，各个集群系统基于各自内部预先构建的第二索引信息，对各个子数据请求所请求的数据进行处理，每个集群系统的第二索引信息用于索引每个集群系统上存储的数据；第一数据响应模块，用于将各个集群系统返回的数据处理结果合并，并返回客户端。