[发明专利]一种提高HDFS文件传输安全性和读取效率的方法

说明书

技术领域

本发明基于HDFS，提出了一种增强文件传输过程中的安全性，以及提高文件读取效率的方法。

背景技术

由Apache基金会所开发的HDFS(Hadoop Distributed File System)在面对海量文件存储问题的处理时，相较于一般的存储方式具有明显优势。然而在云计算越来越普及的今天，用户将自己的私人数据大量存放在云端，对于绝大部分的用户而言，他们考虑的不再仅仅是需要这些数据时是否可以方便快捷的得到，与之相对应的，他们将更加关注于自己数据的存放是否安全。目前针对数据加密的几种方法中，都是以牺牲系统存读取文件效率为代价，并没有同时加强文件安全性和读取效率的有效方法。举例说明，Facebook作为现今全球最大的社交网站，每天将处理27亿次Like按钮的点击，有3亿张图片被上传，吸收逾500TB的新数据。这些数据中，有可能是用户的留言，或者心情状态，也可能是一张照片或者一段视频，其中很多都是用户不愿公开或者半公开的内容，这就要求公司在存储这些数据时既要保证不泄露用户的个人隐私，又要保证用户在任意时刻想要查找它们时可以很快得到，这无疑是一项巨大的挑战。本文在HDFS模型的基础上，提出了一种采用网络编码和多节点读取技术以增强文件传输过程中的安全性和提高文件读取效率的方法，即利用随机线性网络编码对存储文件进行加密，在读取文件时，同时从多个加密后的文件块中读取字符进行解码。

发明内容

针对现有技术中存在的问题，本发明在HDFS架构的基础上，采用随机线性网络编码和多节点读取的方法，在云计算平台上建立了一套安全性好、解码成本低、读取效率高的分布式文件存储系统。

本发明的发明目的是：在提高文件读取效率的基础上，能够保证用户的私人数据不在文件传输或者存储的过程中被非法获取。主要应用于云存储、网盘等应用。

为了实现上述目的，本发明的技术方案为：一种提高HDFS文件传输安全性和读取效率的方法，本方法及系统主要由四个主要步骤组成。

第一个步骤为文件存储阶段。在这一阶段中，名称节点(Namenode)根据客户端发出的储存文件请求，选取合适的块(block)储存文件，并建立从文件到块和从块到文件的映射关系，这些映射关系将作为元数据(Metadata)的一部分被存储在名称节点中，以方便名称节点可以快速响应用户对于某个文件的查找。

第二个步骤为编码块文件阶段。在这一阶段中，名称节点对存储在块中的文件进行随机线性网络编码，并将编码后的文件存储在数据节点(Datanode)中。随机线性网络编码是一种简单有效的网络编码方式，常用于对网络数据的加密算法中，具有编码成本低、解码成功率高、可容错性强等特点。随机线性网络编码是一种文件加密方式，非用户本人即使使用非正常手段得到了存储在数据节点中的块文件，在不知道编码方式，无法得到编码系数的情况下，是无法通过解码的方法还原出原始文件的，由此保证了文件存储的安全性。名称节点首先选取编码系数n(同时可以得到n个二进制表示的编码因子a₁、a₂、a₃…a_n)，并选择最小编码单元。由编码长度决定每次从块文件中读取的字符串长度。假设n行待编码的字符串为b₁、b₂、b₃…b_n，则该编码单元中，第一行至最后一行的编码结果可以表示为：