[发明专利]计算组件容器化部署方法、装置、计算机设备和存储介质

说明书

本申请涉及一种计算组件容器化部署方法、装置、计算机设备和存储介质。所述方法包括：响应于用户节点的Flink计算任务的请求，获取Flink计算任务信息；对所述Flink计算任务信息进行容器化编排，生成容器化编排文件；获取Flink计算组件对应的Flink对象实例，基于所述容器化编排文件，将所述Flink对象实例部署至对应的目标容器节点。采用本方法能够降低Flink计算组件出现不能正常查询、服务停止以及崩溃等问题出现的概率，保证Flink计算组件的正常运行。

技术领域

本申请涉及计算机技术领域，特别是涉及一种计算组件容器化部署方法、装置、计算机设备和存储介质。

背景技术

Flink计算组件是一种分布式的流式计算组件，可以对无界或者有界的数据流进行高效的处理，但是在基于Flink计算组件进行大数据量数据计算时，若用户提交了过载任务，则容易出现Flink计算组件难以自动调配过载任务的情况，从而导致出现不能正常查询、服务停止以及崩溃等问题，影响Flink计算组件的正常运行。

发明内容

基于此，有必要针对上述技术问题，提供一种能够在用户提交了过载任务时保证Flink计算组件正常运行的计算组件容器化部署方法、装置、计算机设备和存储介质。

第一方面，本申请提供了一种计算组件容器化部署方法。所述方法包括：

响应于用户节点的Flink计算任务的请求，获取Flink计算任务信息；

对所述Flink计算任务信息进行容器化编排，生成容器化编排文件；

获取Flink计算组件对应的Flink对象实例，基于所述容器化编排文件，将所述Flink对象实例部署至对应的目标容器节点。

在其中一个实施例中，所述容器化编排文件包括Flink实例信息以及部署容器信息；

所述基于所述容器化编排文件，将所述Flink对象实例部署至对应的目标容器节点，包括：

根据所述Flink实例信息，启动Flink任务管理模块实例以及Flink任务执行模块实例；

基于所述部署容器信息，分别将所述Flink任务管理模块实例和所述Flink任务执行模块实例部署至对应的目标容器节点。

在其中一个实施例中，在所述基于所述部署容器信息，分别将所述Flink任务管理模块实例和所述Flink任务执行模块实例部署至对应的目标容器节点之后，所述方法还包括：

确定所述Flink计算任务的原始计算数据和元数据，并缓存所述原始计算数据和元数据；

获取执行所述Flink计算任务时各算子产生的中间计算结果数据，并缓存所述中间计算结果数据。

在其中一个实施例中，所述方法还包括：

响应于工作空间配置命令，建立所述Flink计算任务对应的各资源使用空间；

响应于标识命令，为各容器节点赋予对应的节点标识以及为各用户节点赋予反亲和性污点，其中，所述节点标识和所述反亲和性污点共同表征所述容器节点和所述用户节点之间的资源调度关系。

在其中一个实施例中，所述方法还包括以下各项中的至少一项：

响应于实例调整指令，对预设工作空间中的Flink对象实例进行调整；

获取所述Flink计算任务对应的资源占用信息，基于所述资源占用信息，对预设工作空间中的Flink对象实例进行调整。

在其中一个实施例中，所述方法还包括：