[发明专利]文件采集方法和装置

说明书

本申请实施例提供了文件采集方法和装置，该方法包括首先获取来自服务器的文件采集请求；然后根据采集队列的优先级调配所述文件采集请求，以使所述采集队列根据所述文件采集请求执行采集文件的处理在获取来自服务器的文件采集请求之后，可以根据采集队列的优先级调配所述文件采集请求，以使所述采集队列根据所述文件采集请求执行采集文件的处理。这样，便可以根据采集队列的状态，分配文件采集请求，并在文件采集请求为多个时，实现均匀分配处理，达到负载均衡。

技术领域

本申请涉及信息采集技术领域，尤其涉及一种文件采集方法和装置。

背景技术

现代社会各单位和企业越来越注重信息化的建设，信息系统成为企业、事业单位日常运作中不可或缺的重要组成部分。为了保证信息采集的安全性、完整性和时效性，往往需要将采集任务部署在两组主机中，并采用竞争模式保障文件采集的连续性，但是这种方式会由于文件量的大小导致主机资源的浪费或主机性能不稳定，进而带来十分严重的业务风险。

发明内容

本申请实施例提供了一种文件采集方法和装置，可以根据采集队列的状态，分配文件采集请求，并在文件采集请求为多个时，实现均匀分配处理，达到负载均衡。

第一方面，本申请实施例提供了一种文件采集方法，执行在客户端上，包括：

获取来自服务器的文件采集请求，所述文件采集请求为一个或多个，当所述文件采集请求为多个时，多个所述文件采集请求包括相同的预设采集参数；

根据采集队列的优先级调配所述文件采集请求，以使所述采集队列根据所述文件采集请求执行采集文件的处理；

其中，所述采集队列具有以下由高到低的优先级顺序：

闲忙状态、空闲时长、最大采集文件数、线程数。

其中在一种可能的实现方式中，所述所述获取文件采集请求之前，还包括：

创建多个采集队列，并通过所述多个采集队列向服务器发送连接请求，以使所述服务器根据所述连接请求建立与所述多个采集队列之间的通信。

其中在一种可能的实现方式中，所述根据采集队列的优先级调配所述文件采集请求，以使所述采集队列根据所述文件采集请求执行采集文件的处理之后，还包括：

监听所述采集队列是否完成文件采集任务；以及，

在监听结果为所述采集队列未完成所述文件采集任务时，则继续执行所述采集文件的处理。

其中在一种可能的实现方式中，所述监听所述采集队列是否完成文件采集任务之后，还包括：

向所述服务器返回所述监听结果。

其中在一种可能的实现方式中，所述采集队列包括基于socket连接的队列。

第二方面，本申请实施例提供了一种文件采集方法，执行在服务器上，包括：

接收来自多个客户端的对应第一采集队列；

根据所述第一采集队列，判断对应所述客户端是否为新的客户端；

根据判断结果执行创建与所述第一采集队列相对应的第二采集队列或向所述第一采集队列发送文件采集请求的处理；以及，

接收来自所述客户端对于文件采集请求的回执。

其中在一种可能的实现方式中，所述根据判断结果执行创建与所述第一采集队列相对应的第二采集队列或向所述第一采集队列发送文件采集请求的处理包括：

根据所述第一采集队列，发现有新的客户端时，则创建与所述客户端的第一采集队列相对应的第二采集队列，并通过所述第二采集队列发送所述文件采集请求至所述第一采集队列。