[发明专利]一种分布式数据打包方法及系统、存储介质、计算设备

说明书

本发明提供了一种分布式数据打包方法及系统、存储介质、计算设备，该方法包括：基于预设的主控服务器生成包括多个数据打包任务的任务分配清单文件；将所述任务分配清单文件中的多个数据打包任务划分为多个任务组；将各所述任务组分配至预设的多个任务执行服务器，由各所述任务执行服务器执行各自接收到的任务组中的数据打包任务。基于本发明提供的方法将原有的打包工作拆分成可分配的工作，每个任务执行服务器均可以独立地、互不影响地完成部分压缩包的打包工作，从而有效提升数据打包的效率。

技术领域

本发明涉及数据处理技术领域，特别是一种分布式数据打包方法及系统、存储介质、计算设备。

背景技术

在Unity引擎中，Asset Bundle(以下简称AB)压缩包提供了一种压缩的数据格式，可以索引和序列化多个文件，因为其流式加载、增量更新等特性，可广泛应用于游戏制作及游戏安装包的生成。

在Unity引擎传统的打包方式中，是以单线程的方式基于压缩包所需的信息逐个调用指定函数编译压缩包，且只有在特定情况下才会开启并行线程执行打包任务。但是，对于一些比较大项目，如果继续以单线程的方式打包数据包则需要等待较长时间，从而降低打包流程效率。如果采用并行线程，打包过程中的文件，使用完全相同的名字，则很容易造成任务冲突，不仅影响打包效率，而且还无法有效完成打包任务。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的分布式数据打包方法及系统、存储介质、计算设备。

根据本发明的一个方面，提供了一种分布式数据打包方法，包括：

基于预设的主控服务器生成包括多个数据打包任务的任务分配清单文件；

将所述任务分配清单文件中的多个数据打包任务划分为多个任务组；

将各所述任务组分配至预设的多个任务执行服务器，由各所述任务执行服务器执行各自接收到的任务组中的数据打包任务。

可选地，所述基于预设的主控服务器生成包括多个数据打包任务的任务分配清单文件，包括：

启动预设的主控服务器的主Unity引擎，并通过所述主Unity引擎监听数据打包请求；

当所述主Unity引擎监听到任一数据打包请求时，获取各所述数据打包请求对应的压缩包的配置信息和资源信息；其中，所述配置信息包括压缩包生成路径、压缩包数量、编译选项、压缩包的资源信息和各压缩包之间的依赖关系中至少之一；

基于各所述压缩包的配置信息和资源信息生成任务分配清单文件。

可选地，所述将所述任务分配清单文件中的多个数据打包任务划分为多个任务组，包括：

读取所述任务分配清单文件中的任务数量，并计算每次进行任务分配时的分配任务数量；

依据所述分配任务数量将所述任务分配清单文件中的多个数据打包任务划分为多组任务组。

可选地，所述将各所述任务组分配至预设的多个任务执行服务器，由各所述任务执行服务器执行各自接收到的任务组中的数据打包任务，包括：

分别向各所述任务执行服务器分配任务组，并将各所述任务执行服务器的工作状态设定为锁定状态，由各所述任务执行服务器执行各自接收到的任务组中的数据打包任务；其中，每次向各所述任务执行服务器分配一组任务组；

接收任一所述任务执行服务器返回的任务完成消息，并将所述任务执行服务器的工作状态设定为未锁定状态。

可选地，所述将各所述任务组分配至预设的多个任务执行服务器，由各所述任务执行服务器执行各自接收到的任务组中的数据打包任务，还包括：