[发明专利]基于海量数据的文件生成方法及系统

说明书

本发明提供了一种基于海量数据的文件生成方法及系统，包括：客户端向第一管理节点发送第一请求消息，携带N个数据块的存储路径和每个数据块所对应的任务类型，包括CPU密集型任务和I/O密集型任务；第一管理节点依次获取每个计算节点处理两类任务的处理能力，根据N个数据块的任务类型，向N个计算节点分别分配一个子任务，计算节点读取该数据块中的数据并对数据进行处理；客户端根据N个计算节点的数据处理结果，生成数据所对应的文件。通过spark集群中的多个计算节点对海量数据并行处理生成文件，且spark集群中的管理节点根据数据库所对应的任务类型将该数据块分配给处理该类型任务能力强的计算节点，在达到负载均衡的基础上提高了数据处理的速度。

技术领域

本发明属于计算机技术领域，尤其涉及一种基于海量数据的文件生成方法及系统。

背景技术

随着计算机技术和互联网技术的迅猛发展，网络普及率和互联网用户的规模也在逐年攀升，用户规模不断攀升与数据处理量迅速增长的双重刺激为互联网应用带来了新的挑战。

例如，基金系统之间的数据交互基本都以文本文件形式交互，随着用户数量的增长，目前一天需要生成的数据文件高达30多G，普通方法生成文件需要数小时，严重影响业务的效率。并且，随着数据量越来越大，对系统各项性能的也越来越高。因此，面对海量数据，如何提高文件的生成速度是现在所面临的挑战。

发明内容

有鉴于此，本发明实施例提供了一种基于海量数据的文件生成方法及系统，以解决现有技术中基于海量数据的文件生成速度慢的问题。

本发明实施例的第一方面提供了一种基于海量数据的文件生成方法，该方法应用于计算引擎spark集群，spark集群中包括第一管理节点和多个计算节点，包括：

客户端向所述第一管理节点发送第一请求消息，所述第一请求消息用于请求将待处理的数据进行处理生成文件，所述数据由N个数据块组成，所述第一请求消息中携带所述N个数据块中每个数据块的存储路径信息和每个数据块所对应的任务类型，所述任务类型包括中央处理器CPU密集型任务和输入输出I/O密集型任务，N为大于等于2的正整数；

所述第一管理节点依次获取每个计算节点处理CPU密集型任务的处理能力和处理I/O密集型任务的处理能力；

所述第一管理节点根据每个计算节点处理CPU密集型任务的处理能力和处理I/O密集型任务的处理能力，以及所述N个数据块所对应的任务类型，向N个计算节点分别分配一个子任务，每个子任务用于对一个数据块进行处理，每个子任务携带有一个数据块的路径信息，以使得所述计算节点根据接收到的子任务中的数据块的路径信息读取该数据块中的数据并对数据进行处理；

所述客户端根据所述N个计算节点的数据处理结果，生成所述数据所对应的文件。

本发明实施例的第二方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如下步骤：

客户端向所述第一管理节点发送第一请求消息，所述第一请求消息用于请求将待处理的数据进行处理生成文件，所述数据由N个数据块组成，所述第一请求消息中携带所述N个数据块中每个数据块的存储路径信息和每个数据块所对应的任务类型，所述任务类型包括中央处理器CPU密集型任务和输入输出I/O密集型任务，N为大于等于2的正整数；

所述第一管理节点依次获取每个计算节点处理CPU密集型任务的处理能力和处理I/O密集型任务的处理能力；

所述第一管理节点根据每个计算节点处理CPU密集型任务的处理能力和处理I/O密集型任务的处理能力，以及所述N个数据块所对应的任务类型，向N个计算节点分别分配一个子任务，每个子任务用于对一个数据块进行处理，每个子任务携带有一个数据块的路径信息，以使得所述计算节点根据接收到的子任务中的数据块的路径信息读取该数据块中的数据并对数据进行处理；