[发明专利]数据处理任务的负载处理方法及装置

说明书

本发明公开了一种数据处理任务的负载处理方法及装置，涉及数据处理技术领域，包括：对当前阶段的数据处理任务进行特征提取，得到所述数据处理任务的任务特征，所述任务特征包括任务相关信息特征、预热处理特征、历史处理特征以及系统状态特征之中的至少一项；基于所述任务特征，自动确定与所述数据处理任务相应的负载处理方式；按照确定的所述负载处理方式来执行与所述数据处理任务相应的负载处理。本发明用于在数据处理任务进行负载处理的过程。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种数据处理任务的负载处理方法及装置。

背景技术

随着大数据时代的到来，网络中的数据量已大大增加。在对数据进行处理的过程中，基于数据量的原因，处理系统会消耗大量的资源，在此情况下，对于数据处理时，如何最大化的利用资源的同时有效平衡系统内的负载成为了人们常常需要考虑的问题。例如，在对大数据任务进行处理过程中，当某个阶段的任务处理之后，生成的数据往往是需要下一阶段所使用的，在使用前需要将这些数据进行存储。在存储时，基于数量的原因，一般会对数据进行压缩处理，但在压缩过程中需要占用系统的部分资源，因此对该任务选取何种压缩算法或申请多少系统资源等处理过程对于平衡系统资源、改善系统压力是很重要的。

目前，当对大数据任务进行处理的过程中，需要由人工选取任务适合的处理方式，而对于不同阶段的不同任务而言，当系统中存在大量待处理任务时，人工操作的方式将消耗大量的人力成本，同时，基于不同阶段不同任务对于处理方式的差异性，人工设置处理方式的过程往往较为僵化、机械，例如，对数据进行压缩的场景中，在对不同阶段的任务进行处理时，需要人工设置压缩方式，而不同的阶段的任务所需的压缩方式很可能是不同的，导致人工设置的方式的灵活性难以满足实际的需要，并且当所需处理的压缩任务较多时，人工操作显然在为大数据任务设置压缩方式时会消耗大量的人力。因此，现有的数据处理任务的负载处理过程，存在处理方式的灵活性较差，并存在人力消耗的问题。

发明内容

鉴于上述问题，本发明提出了一种数据处理任务的负载处理方法及装置，主要目的在于减少人力消耗，提高大数据任务处理过程中的处理方式的灵活性。

为达到上述目的，本发明主要提供如下技术方案：

第一方面，本发明提供数据处理任务的负载处理方法，具体包括：

对当前阶段的数据处理任务进行特征提取，得到所述数据处理任务的任务特征，所述任务特征包括任务相关信息特征、预热处理特征、历史处理特征以及系统状态特征之中的至少一项；

基于所述任务特征，自动确定与所述数据处理任务相应的负载处理方式；以及

按照确定的所述负载处理方式来执行与所述数据处理任务相应的负载处理。

可选的，所述负载处理包括：数据的压缩处理和/或数据处理任务的系统资源分配。

可选的，所述负载处理包括数据的压缩处理，并且，所述基于所述任务特征，自动确定与所述数据处理任务相应的负载处理方式，包括：

基于所述任务特征，通过压缩算法选择模型自动确定与所述数据处理任务相应的压缩方式，

并且，所述按照确定的所述负载处理方式来执行与所述数据处理任务相应的负载处理，包括：

按照确定的压缩方式对所述数据处理任务的中间数据和/或输出数据进行压缩。

可选的，所述负载处理包括数据处理任务的系统资源分配，并且，所述基于所述任务特征，自动确定与所述数据处理任务相应的负载处理方式，包括：

基于所述任务特征，通过资源分配模型自动确定与所述数据处理任务相应的系统资源分配方式，

并且，所述按照确定的所述负载处理方式来执行与所述数据处理任务相应的负载处理，包括：