[发明专利]多进程处理方法、装置和系统

说明书

技术领域

本申请涉及数据处理设备的数据处理技术领域，尤其涉及一种多进程处理方法、装置和系统。

背景技术

随着互联网业务的普及，用户数据的增长，网络中的设备处理几百G或T的数据是比较常见的。为了能够适应巨量数据的处理任务，目前业界通常采用分布式多进程处理巨量数据。

如图1为现有的分布式多进程处理技术的一种处理示意图；参见图1，其中，用竖虚线来划分不同的机器，所述竖虚线划分出的每一个区域就是一台机器上的部署情况，如区域101为第一台机器上的部署情况，区域102为第二台机器上的部署情况。每一台机器可以启动多个进程，如图1每一台机器对应的区域中，所述矩形框内每个小块分别对应一个进程，每台机器还配置有配置文件，配置文件内包括启动的进程个数，每个进程处理的数据文件的配置信息等，所述配置信息需要包括每个进程对应的文件名和路径信息。在数据处理过程中，启动的进程需要从所述配置文件中读取该进程对应的文件名和路径，并到该路径下读取该数据文件的数据并对数据进行相应业务的处理，然后导入到本地或远程机器的内存提供给对外服务的互联网应用程序。

但是，现有技术在导入少数文件的情况下是适用的，而在导入大量文件的情况下，会存在以下缺点：

（1）由于数据文件不一样，配置文件不一样，需要编辑每行配置文件。如果同时有100台机器处理，每台机器启动10个进程，需要有1000行数据进行编辑，编辑量过大，人工成本高。

（2）在实际的运营过程中，常常需要根据运营需要调整每台机器上导入数据的速度，这就需要对进程的个数和进程对应处理的数据文件名称路径等进行修改，因此如果需要调整，则所有配置都要跟着重新调整，工作量巨大，且极易出错。因此，现有的这种技术方案的导入数据的速度不方便随意更改，操作不灵活。

发明内容

有鉴于此，本发明的主要目的是提供一种多进程处理方法，可以较低的工作量实现灵活的速度调整，以降低人工编辑量。

本发明的另一目的是提供一种多进程处理装置，可以较低的工作量实现灵活的速度调整，以降低人工编辑量。

本发明的另一目的是提供一种多进程处理系统，可以较低的工作量实现灵活的速度调整，以降低人工编辑量。

本发明的技术方案是这样实现的：

一种多进程处理方法，包括：

为本地的数据文件编号；

输入每个进程需处理的数据文件个数M；

获取本地的数据文件总数N；

根据所述N与所述M的取模结果确定需要启动的进程数k；

启动k个进程，为每个进程分配至多M个数据文件编号；

所述进程根据所分配的数据文件编号加载对应的数据文件进行处理。

一种多进程处理装置，包括：

配置模块，用于为本地的数据文件编号；

输入模块，用于输入每个进程需处理的数据文件个数M；

文件数模块，用于获取本地的数据文件总数N；

进程数模块，用于根据所述N与所述M的取模结果确定需要启动的进程数k；

分配模块，用于启动k个进程，为每个进程分配至多M个数据文件编号；

进程模块，用于运行进程，所述进程根据所分配的数据文件编号加载对应的数据文件进行处理。

一种多进程处理系统，包括二台以上计算设备，其中每台计算设备中包括所述的多进程处理装置。

与现有技术相比，本发明不必配置进程与数据文件的固定对应关系，而是可以实现进程与所加载的数据文件之间自适应的、动态映射的关系，在希望对的导入数据的速度进行调整时，用户只需要重新输入每个进程需处理的数据文件个数M即可，之后本发明的方法可以自动确定需要启动的进程个数，并且根据上述分配方法将本地的数据文件分配给所启动的进程，由所述进程加载对应的数据文件进行处理，所调整的工作量极其微小，只需要修改一下输入的M值即可，因此本发明可以实现可以较低的工作量实现灵活的速度调整，以降低人工编辑量。

附图说明

图1为现有的分布式多进程处理技术的一种处理示意图；

图2为本发明所述多进程处理方法的一种流程图；

图3为本发明所述方法的一种处理示意图；

图4为本发明所述多进程处理装置的一种组成示意图；

图5为本发明所述多进程处理系统的一种组成示意图。

具体实施方式

下面结合附图及具体实施例对本发明再作进一步详细的说明。