[发明专利]一种大文件去重重定向方法

说明书

一种大文件去重重定向方法，其由大文件设置模块、大文件判别模块、大文件去重模块、大文件重定向模块组成。其既能够节省重复大文件存储空间，又能够提升大文件读写速度。大文件设置模块可以由用户设置“大文件”的阈值、大文件格式，满足相应条件的则设置为“大文件”；大文件判别模块通过文件名称、文件长度、文件MD5值来判断“重复大文件”。大文件去重模块用于保留高速存储介质上1份大文件，并删除掉其余的重复大文件。大文件重定向模块在存储系统访问重复大文件时，用高速存储介质上保留大文件的路径替换原重复大文件路径，在高速存储介质上实现大文件的读、写。

技术领域

本发明涉及大数据、新一代信息技术领域，尤其是一种大文件去重重定向方法。

背景技术

我们身处一个大数据的时代，数据正变得越来越多、越来越快，也变得越来越大。

5G及下一代移动通信、人工智能、工业互联网和航空航天装备等行业有一个最重要的特性就是将会产生海量的大数据。5G最大的特色体现在三个方面：高速度，速度可以最高达到20Gbps；大容量，每平方公里连接数可以达到100万；低延时，延时小于10毫秒。5G影响的不仅是通信行业，包括好多民生行业和娱乐行业也会受影响，比如：自动驾驶、自动停车、车路协同、VR电影、5G远程医疗，因此产生的数据会越来越多、越来越大、越来越快。

人工智能行业的发展，脑机接口成为现实，将来可能知识也能够直接灌入人的大脑中，也将产生更多维度的新数据。

工业互联网产业与产值将会比消费互联网大得多，至少是4倍以上，消费互联网已经产生了这么多大数据，工业互联网产生的数据量就不难想象了。现代化工业制造生产线安装有数以千计的小型传感器，来探测温度、压力、热能、振动和噪声。每隔几秒就收集一次数据，并利用这些数据进行分析、生产工艺改进、仿真并优化生产流程。以通用电气（GE）为例，位于美国亚特兰大的GE能源监测和诊断（MD）中心，收集全球50多个国家上千台GE燃气轮机的数据，每天就能为客户收集10GB的数据，分析这些大数据以对燃气轮机进行故障诊断和预警。风力涡轮机制造商Vestas也通过对天气数据及期涡轮仪表数据进行交叉分析，并对风力涡轮机布局进行改善，由此增加了风力涡轮机的电力输出水平，同时大大延长了服务寿命。工业物联网和5G时代，对于汽车行业的影响会很大，汽车将会有更多的传感器，这也将产生更多的数据。

航空航天行业是高科技密集型行业，《大数据的冲击》里举例提到波音喷气式飞机每30分钟就产生10TB运行信息数据，每次飞跃大西洋就会产生640TB的飞行信息数据量。这些数据，不仅仅是未来某个时间点能够分析的工程遥测数据，而且还促进了实时自适应控制、燃油使用、零件故障预测和飞行员通报，能有效实现故障诊断和预测。

随着硬件价格的下降，人们在生产和生活中产生的数据也越来越快了，比如好多人几乎每天都要拍照、录视频，一个人去医院检查同一项检查的频次增加，数据的变化变得快了。

同时，伴随着硬件的发展，越来越精确的设备被发明出来，数据也变得越来越大，比如：摄像头像素越来越高，拍出的照片就会更大；医疗设备的制作工艺的提升，拍摄出的影像也会越来越大。

通过调查发现，在存储的海量信息中，结构化数据仅占数据信息总量的9%，而非结构化数据却占数据信息总量的91%，非结构化数据多数以文件的形式存储。

大文件变得越来越多，而且重复文件也很多，它们被存储在不同的介质和路径下。不仅占用、浪费了很多的空间，而且保存在不同的介质上，读写速度不尽相同，存储在低速介质上的大文件在读写时将明显降低系统的速度。

现有情况下最接近技术的分析与对比。

目前，现有情况下最接近的技术方案为：公告号为 CN106487937A的《一种云存储系统文件去重方法及系统》（下文简称“对比文件1”）和公告号为CN110175155A的《一种文件去重处理的方法和系统》（以下简称“对比文件2”）。