[发明专利]一种小文件切片传输高效备份方法

说明书

一种小文件切片传输高效备份方法，由文件分离器、小文件大小设置器、虚拟存储块大小设置器、小文件切片器、小文件合成器、虚拟存储块删除器组成。通过小文件大小设置器来设置“小文件”阈值，将需要备份的文件分离为“小文件”和“大文件”，对“小文件”和“大文件”应用不同的备份方法。多个“小文件”被切片为指定大小的虚拟存储块（大小可自行设置），并将虚拟存储块分别上传到服务器，全部上传完后将这些虚拟存储块合并成为多个“小文件”，以提升“小文件”备份效率。服务器上虚拟存储块合并为多个“小文件”后，虚拟存储块立即被删除；同时，对于服务器上3天前未被合并为“小文件”的虚拟存储块也删除，以节省服务器空间。

技术领域

本发明涉及大数据、新一代信息技术领域，尤其是一种小文件切片传输高效备份方法。

背景技术

5G及下一代移动通信、人工智能、工业互联网和航空航天装备等行业有一个最重要的特性就是将会产生海量的大数据。数据正变得越来越多，数据也已经成为了一种重要的资产。

5G是一项非常复杂的高科技，绝对不是只比4G多出1G，最大的特色体现在三个方面：高速度，速度可以最高达到20Gbps；大容量，每平方公里连接数可以达到100万；低延时，延时小于10毫秒。5G影响的不仅是通信行业，包括好多民生行业和娱乐行业也会受影响，比如：自动驾驶、自动停车、车路协同、VR电影、5G远程医疗，因此产生的数据会越来越多、越来越快。

人工智能行业的发展，脑机接口成为现实，将来可能知识也能够直接灌入人的大脑中，也将产生更多维度的新数据。

工业互联网产业与产值将会比消费互联网大得多，至少是4倍以上，消费互联网已经产生了这么多大数据，工业互联网产生的数据量就不难想象了。现代化工业制造生产线安装有数以千计的小型传感器，来探测温度、压力、热能、振动和噪声。每隔几秒就收集一次数据，并利用这些数据进行分析、生产工艺改进、仿真并优化生产流程。以通用电气（GE）为例，位于美国亚特兰大的GE能源监测和诊断（MD）中心，收集全球50多个国家上千台GE燃气轮机的数据，每天就能为客户收集10GB的数据，分析这些大数据以对燃气轮机进行故障诊断和预警。风力涡轮机制造商Vestas也通过对天气数据及期涡轮仪表数据进行交叉分析，并对风力涡轮机布局进行改善，由此增加了风力涡轮机的电力输出水平，同时大大延长了服务寿命。工业物联网和5G时代，对于汽车行业的影响会很大，汽车将会有更多的传感器，这也将产生更多的数据。

航空航天行业是高科技密集型行业，《大数据的冲击》里举例提到波音喷气式飞机每30分钟就产生10TB运行信息数据，每次飞跃大西洋就会产生640TB的飞行信息数据量。这些数据，不仅仅是未来某个时间点能够分析的工程遥测数据，而且还促进了实时自适应控制、燃油使用、零件故障预测和飞行员通报，能有效实现故障诊断和预测。

与此同时，在产生的大数据中，越来越多的数据以小文件的形式被产生、存储了下来，这些文件一般大小不超过10MB，甚至不到1MB，以几十KB或几百KB居多。这些小文件数量多，备份起来非常费时。

目前文件备份存在以下缺点：

对于文件备份采用了一种方法，即常规的办法，一般通过底层的复制接口来实现；

针对“小文件”没有采用独特的备份方法，使得海量的“小文件”备份的时间特别长，影响了备份效率；

对于“小文件”和“大文件”定义不清晰，不能以具体的大小来分别“小文件”和“大文件”，即没有“小文件”阈值；

对于“小文件”的阈值的大小不能调整。

现有情况下最接近技术的分析与对比。

目前，现有情况下最接近的技术方案为：公告号为CN111245949A的《文件归档传输方法、装置及设备》（下文简称“对比文件1”）和公告号为CN103986744B的《基于吞吐量的文件并行传输方法》（以下简称“对比文件2”）。