[发明专利]文件解析方法及网络设备

说明书

本申请提供一种文件解析方法及网络设备，涉及通信领域，能够在调度服务器主节点和从节点之间合理分配工作量，提高文件解析的可靠性和效率。该方法包括：在调度服务器的统一调度下，由主节点负责所有解析任务的采集和上报，由调度服务器负责所有待解析任务的分配，由从节点负责其接收到的解析任务的执行和上报，且在此过程中，每个待解析任务的任务记录的生成、存储和执行过程中的状态更新，也是由从节点根据各自接收到的任务分别进行的。

技术领域

本申请涉及通信领域，尤其涉及一种文件解析方法及网络设备。

背景技术

目前的海量数据解析大多是通过Java、C++等编程语言，在解析程序之上编写一层专门的调度程序，使用私有算法实现复杂的多任务调度和并行处理功能，同时需要将每个任务的每一步执行状态都严格记录在Oracle或MySQL等关系数据库中，从而实现大规模解析任务的分布式并行处理。

然而，上述方法需要设计复杂的调度程序，以完成任务调度和任务状态记录，这势必会消耗大量系统资源，导致数据解析的效率较低。并且，若调度程序设计不当，则很容易造成“死锁”、资源分配不均等问题，严重影响数据解析的可靠性。

发明内容

本申请提供一种文件解析方法及网络设备，能够在调度服务器、主节点和从节点之间合理分配工作量，提高文件解析的可靠性和效率。

为达到上述目的，本申请采用如下技术方案：

第一方面，本申请提供一种文件解析方法，该方法可以包括：主节点获取待解析文件的文件信息；其中，待解析文件为存储在文件传输协议(File Transfer Protocol，FTP)服务器中、但其文件信息在关系数据库的任务记录中不存在的源文件；主节点向关系数据库发送M个待解析任务的任务信息；其中，第i个待解析任务的任务信息包括第i个待解析任务的任务标识和第i个待解析任务对应的待解析文件的文件信息，i≤M；主节点向调度服务器上报M个待解析任务的任务信息。

第二方面，本申请还提供一种文件解析方法，该方法可以包括：调度服务器接收主节点上报的M个待解析任务的任务信息；其中，第i个待解析任务的任务信息包括第i个待解析任务的任务标识和第i个待解析任务对应的待解析文件的文件信息，待解析文件为存储在文件传输协议FTP服务器中、但其文件信息在关系数据库的任务记录中不存在的文件，i≤M；调度服务器向第j个执行节点下发一个待解析任务；其中，执行节点为主节点和至少一个从节点中的空闲节点,j≤N,N为执行节点的数量，且N≤M；调度服务器接收第j个执行节点上报的、该执行节点接收到的待解析任务的完成指示。

第三方面，本申请还提供一种文件解析方法，该方法可以包括：从节点接收调度服务器下发的第二解析任务的任务标识；从节点根据第二解析任务的任务标识，获取关系数据库中存储的、第二解析任务的任务信息；其中，第二解析任务的任务信息包括第二解析任务的任务标识和第二解析任务对应的待解析文件的文件信息；从节点根据第二解析任务的任务信息，获取并解析存储在文件传输协议FTP服务器中，且与第二解析任务对应的待解析文件；从节点向目标数据库发送第二解析任务对应的待解析文件的解析结果；从节点向关系数据库发送第二解析任务的完成指示；从节点向调度服务器上报第二解析任务的完成指示。

第四方面，本申请提供一种网络设备，该网络设备可以包括：处理模块和发送模块；其中，处理模块，用于获取待解析文件的文件信息；其中，待解析文件为存储在文件传输协议FTP服务器中、但其文件信息在关系数据库的任务记录中不存在的源文件；发送模块，用于向关系数据库发送M个待解析任务的任务信息；其中，第i个待解析任务的任务信息包括第i个待解析任务的任务标识和第i个待解析任务对应的待解析文件的文件信息，

i≤M；发送模块，还用于向调度服务器上报M个待解析任务的任务信息。