[发明专利]数据处理任务的负载处理方法及装置

权利要求书

1.一种数据处理任务的负载处理方法，其中，所述方法包括：

对当前阶段的数据处理任务进行特征提取，得到所述数据处理任务的任务特征，所述任务特征包括任务相关信息特征、预热处理特征、历史处理特征以及系统状态特征之中的至少一项；

基于所述任务特征，自动确定与所述数据处理任务相应的负载处理方式；以及

按照确定的所述负载处理方式来执行与所述数据处理任务相应的负载处理。

2.如权利要求1所述的方法，其中，所述负载处理包括：数据的压缩处理和/或数据处理任务的系统资源分配。

3.如权利要求1所述的方法，其中，所述负载处理包括数据的压缩处理，并且，所述基于所述任务特征，自动确定与所述数据处理任务相应的负载处理方式，包括：

基于所述任务特征，通过压缩算法选择模型自动确定与所述数据处理任务相应的压缩方式，

并且，所述按照确定的所述负载处理方式来执行与所述数据处理任务相应的负载处理，包括：

按照确定的压缩方式对所述数据处理任务的中间数据和/或输出数据进行压缩。

4.如权利要求1所述的方法，其中，所述负载处理包括数据处理任务的系统资源分配，并且，所述基于所述任务特征，自动确定与所述数据处理任务相应的负载处理方式，包括：

基于所述任务特征，通过资源分配模型自动确定与所述数据处理任务相应的系统资源分配方式，

并且，所述按照确定的所述负载处理方式来执行与所述数据处理任务相应的负载处理，包括：

按照确定的系统资源分配方式对所述数据处理任务分配系统资源。

5.如权利要求3所述的方法，其中，所述对当前阶段的数据处理任务进行特征提取，包括：

获取所述数据处理任务的相关信息，并将所述相关信息确定为所述数据处理任务的任务相关信息特征，所述相关信息包括任务阶段的上下游关系信息、输出数据位置信息、并发执行任务信息以及保存策略信息之中的至少一项；

和/或，

按照所述数据处理任务对预设数量的数据进行预热处理，并将预热处理后得到的执行信息确定为所述数据处理任务的预热处理特征，所述执行信息包括预热处理的运行时间、输入数据特性及输出数据特性之中的至少一项；

和/或，

获取与所述数据处理任务相同的历史数据处理任务的历史执行信息，并将所述历史执行信息确定为所述数据处理任务的历史处理特征，所述历史执行信息包括所述历史数据任务的运行时间、输入数据特性及输出数据特性之中的至少一项；

和/或，

获取系统状态信息，并将所述系统状态信息确定为所述数据处理任务的系统状态特征，所述系统状态信息包括处理器规模、处理器负载、内存规模、内存负载、磁盘规模、磁盘负载、网络带宽规模、网络带宽负载之中的至少一项。

6.如权利要求5所述的方法，其中，所述按照所述数据处理任务对预设数量的数据进行预热处理包括：按照所述数据处理任务，基于至少一种压缩算法对所述预设数量的数据进行压缩处理。

7.如权利要求5所述的方法，其中，所述输入数据特性通过以下方式来获取：

当所述预设数量的数据为数值时，计算所述预设数量的数据的均值及方差，并将所述均值及方差确定为所述输入数据特性；

当所述预设数量的数据为字符串时，确定所述预设数量的数据中不同字符串出现的次数，并将所述不同字符串出现的次数确定为所述输入数据特性。

8.一种数据处理任务的负载处理装置，其中，所述装置包括：

提取单元，用于对当前阶段的数据处理任务进行特征提取，得到所述数据处理任务的任务特征，所述任务特征包括任务相关信息特征、预热处理特征、历史处理特征以及系统状态特征之中的至少一项；

确定单元，用于基于所述任务特征，自动确定与所述数据处理任务相应的负载处理方式；以及

执行单元，用于按照确定的所述负载处理方式来执行与所述数据处理任务相应的负载处理。