[发明专利]负载均衡的控制方法及装置

说明书

本发明提供一种负载均衡的控制方法及装置。该方法包括：接收用户的查询请求，其中，查询请求包括目标文件列表和开始读取的时间信息，目标文件列表中包括用户请求读取的文件的文件标识；根据目标文件列表，确定用户请求读取的文件的总信息量；根据用户在设定历史日期内的文件读取信息和资源占用信息，确定信息量限值；在总信息量大于信息量限值时，从目标文件列表中筛选部分文件标识，得到许可文件列表，其中，许可文件列表中文件的总信息量小于或等于信息量限值。本发明能够实现对于大数据系统的负载均衡控制，提高大数据系统中资源的利用效率。

技术领域

本发明涉及通信技术领域，尤其涉及一种负载均衡的控制方法及装置。

背景技术

随着通信网络技术的进一步发展，大数据技术得以进一步应用。大数据系统可以为用户提供海量数据的采集、传输、存储、计算和分析等服务。例如，海杜普Hadoop架构是大数据系统的其中一种架构，海杜普分布式文件系统(Hadoop distributed file system，HDFS)基于Hadoop架构实现。HDFS具有高容错性，高吞吐量，成本低廉等优点，广泛应用于大数据计算、存储等服务场景。

在大数据系统为用户提供计算服务的过程中，目前的管理策略仅是在大数据系统中的做权限划分。例如，对于HDFS，仅允许用户A对HDFS中目录A进行访问和读取，以完成计算服务。但是，目前的管理策略并未考虑用户在访问和读取过程中的资源占用情况和用户的访问时间，导致目前大数据系统存在负载不均衡的现象。例如，在同一时段，如忙时时段，多个用户同时对大数据系统进行访问或读取文件，导致该时段中大数据系统的负载较高，可能出现大数据系统资源耗尽的情况，使得大数据系统为多个用户提供计算服务时的数据传输速度下降，影响用户的使用体验。

发明内容

本发明提供了一种负载均衡的控制方法及装置，能够实现对于大数据系统的负载均衡控制，提高大数据系统中资源的利用效率。

第一方面，本发明提供了一种负载均衡的控制方法，包括：接收用户的查询请求，其中，查询请求包括目标文件列表和开始读取的时间信息，目标文件列表中包括用户请求读取的文件的文件标识；根据目标文件列表，确定用户请求读取的文件的总信息量；根据用户在设定历史日期内的文件读取信息和资源占用信息，确定信息量限值；在总信息量大于信息量限值时，从目标文件列表中筛选部分文件标识，得到许可文件列表，其中，许可文件列表中文件的总信息量小于或等于信息量限值。

本发明提供一种负载均衡的控制方法，在接收到用户的查询请求之后，根据用户在设定历史日期内的文件读取信息和资源占用信息，确定信息量限值；根据信息量限值对用户请求的目标文件列表进行辨识，在用户请求的总信息量大于信息量限值时，对用户请求的目标文件列表中的文件进行限制。如此一来，本发明提供的负载均衡的控制方法可以根据历史日期内的文件读取信息和资源占用信息对用户请求的信息量进行限制，实现了对于大数据系统的负载均衡控制，提高大数据系统中资源的利用效率。

示例性的，Hadoop集群为用户提供服务的过程中，用户需要读取HDFS中的数据文件以完成计算服务。假设用户在忙时时段请求读取文件列表A，则本发明的控制方法可以根据历史日期内的文件读取信息和资源占用信息，确定信息量限值，对文件列表A进行辨识，得到文件的总信息量小于或等于信息量限值的许可文件列表，从而对该忙时时段中用户的文件读取情况进行限制，延长或转移为用户提供计算服务的时间，使得Hadoop集群中的资源可以均衡控制，提高Hadoop集群中的资源的利用效率。