[发明专利]多点跨国数据交换中的分布式零散文件处理方法和装置

说明书

本申请提供了多点跨国数据交换中的分布式零散文件处理方法和装置。方法包括获取所有待传输文件的存储尺寸信息；确定存储尺寸小于/不大于第一预设尺寸的待传输文件为待压缩文件；确定可选打包压缩方案，可选打包压缩方案可用于处理待压缩文件、以生成若干不大于第二预设尺寸的压缩包；基于预设选择模型，选择最优打包压缩方案处理待压缩文件。以此方式，可以对小于/不大于第一预设存储尺寸的待传输文件压缩，将打包压缩完成的压缩包限定在不大于第二预设尺寸，以适应国际网络链路的文件传输能力，通过对大量存储尺寸相对较小的文件进行打包，减少网络握手、线程分配以及建立临时端口的次数，极大的提高了国际网络链路中的文件传输效率。

技术领域

本申请涉及通信技术领域，并且更具体地，涉及多点跨国数据交换中的分布式零散文件处理方法和装置。

背景技术

在国际网络链路文件传输过程中，往往会出现大量文件需要传输的情况，这些文件大小相对不大，但对传输速度要求较高。国际网络链路往往较长，文件在传输过程中需要经过多个中转服务器，最终才能到达文件接收端，在此过程中，每个文件都会经过多次网络握手、线程分配切换和建立临时端口，存在传输效率低的缺陷。

发明内容

根据本申请的实施例，提供了一种多点跨国数据交换中的分布式零散文件处理方法和装置。

在本申请的第一方面，提供了一种多点跨国数据交换中的分布式零散文件处理方法方法。该方法包括：

获取所有待传输文件的存储尺寸信息；

确定存储尺寸小于/不大于第一预设尺寸的待传输文件为待压缩文件；

确定可选打包压缩方案，所述可选打包压缩方案可用于处理所述待压缩文件、以生成若干不大于第二预设尺寸的压缩包；

基于预设选择模型，选择最优打包压缩方案处理所述待压缩文件。

通过采用上述技术方案，本申请能够对待传输文件进行筛选，对小于/不大于第一预设存储尺寸的待传输文件压缩，并且考虑到国际网络传输链路中的带宽首先，本申请将打包压缩完成的压缩包限定在不大于第二预设尺寸，以适应国际网络链路的文件传输能力。本申请通过对大量存储尺寸相对较小的文件进行打包，减少了网络握手、线程分配以及建立临时端口的次数，极大的提高了国际网络链路中的文件传输效率。

本申请在一较佳示例中可以进一步配置为：所述第一预设尺寸处于45M-55M范围内。

本申请在一较佳示例中可以进一步配置为：所述第二预设尺寸处于0.9G-1.1G范围内。

本申请在一较佳示例中可以进一步配置为：所述确定可选打包压缩方案包括：

将所有所述待压缩文件划分为若干组，每组所述待压缩文件的存储尺寸和不大于第三预设尺寸，以使每组所述待压缩文件压缩后的尺寸不大于第二预设尺寸；

按组将所述待压缩文件压缩，得到所述压缩包。

本申请在一较佳示例中可以进一步配置为：所述预设选择模型包括：

获取每一可选打包压缩方案得到的压缩包数量信息；

确定所述压缩包数量信息最小的一可选打包压缩方案为所述最优打包压缩方案。

本申请在一较佳示例中可以进一步配置为：所述确定所述压缩包数量信息最小的一可选打包压缩方案为所述最优打包压缩方案包括：

确定所述压缩包数量信息最小的可选打包压缩方案为优选打包压缩方案；

获取所述优选打包压缩方案得到的每一压缩包的尺寸信息；

计算每一优选打包压缩方案的尺寸信息的离散程度信息；

选择尺寸信息的离散程度最小的优选打包压缩方案为最优打包压缩方案。