[发明专利]一种基于SDN的网内重复数据删除方法及系统

说明书

本发明公开了一种基于SDN的网内重复数据删除方法及系统，属于计算机网络和存储技术领域。本发明充分利用SDN控制转发分离、可扩展性、可编程等优点，以及重复数据删除技术在减少存储成本、网络开销方面的优势，实现了在网络内部的冗余消除服务，不仅可以减少目的端的存储开销，同时可以极大的减轻网络链路负载，减小用户的响应时间，为实现流量工程目标提供了更大的灵活性，是源端去重和目的端去重的折衷。SDN控制器通过openflow协议和底层的openflow交换机进行通信，控制数据转发；保存网络中传输的文件指纹信息，从而控制数据的去重。为了充分利用局部性原理，减小SDN控制器和交换机之间的通信开销，利用交换机上缓存的文件信息进行初步的冗余消除。

技术领域

本发明属于计算机网络和存储技术领域，更具体地，涉及一种基于SDN的网内重复数据删除方法及系统。

背景技术

随着信息化时代数据的爆炸式增长，大量重复数据会出现在信息的处理、通信和存储中，并可能通过互联网链路传输。特别是在使用云备份和云共享服务的过程中，会上传大量的重复数据，影响用户体验，增加网络负载，降低存储系统的存储效率等，所以就需要采用重复数据删除技术。数据去重技术是一种无损的数据压缩技术，作为一种有效的技术被广泛接受，用来降低数据的传输和存储开销。根据重复数据的删除地点可以分为源端去重(Source Deduplication)和目的端去重(Destination Deduplication)。源端去重是指数据在开始传送之前，在数据的发送端先查询服务器端判断数据是否重复，重复数据不参与传输和存储，这种方式适合于低带宽网络环境下的系统。而目的端去重则是在数据的接收端和存储端进行重复数据查找和删除的操作，因此需要把全部的数据传输到服务器端，数据去重所引入的开销也全部集中在目的端。软件定义网络(Software Defined Network，以下简称SDN)技术的出现，增加了对于整个网络控制和管理的灵活性。图1所示为现有技术的SDN基本架构图，其中Switch是支持openflow协议的交换机，通过openflow协议与SDN控制器进行通信，从而在交换机中安装流表，客户端和服务器端的通信数据包就是根据流表中的规则进行转发，SDN控制器上面构建的各种应用程序可以进行网络的管理。而且SDN控制器具有网络拓扑结构和内容感知的智能， 这就使得其可以在网内进行重复数据的删除。

现有的重复数据删除方法存在以下问题，虽然源端去重也是通过查询服务器来决定是否传输整个文件，但是这种方法的传输时延很大，要经过很多的广域网。而目的端去重却是将整个文件传输到服务器端，然后进行重复检测，显然这种方法大大的消耗了网络带宽资源。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供一种基于SDN的网内重复数据删除方法及系统，其目的在于消除网络传输中出现的大量重复文件，减轻网络链路负载，提高网络性能，提高用户响应时间，具有良好的可扩展性和灵活性。

为实现上述目的，按照本发明的一个方面，提供一种基于SDN的网内重复数据删除方法，包括以下步骤：

步骤1客户端构造第一个UDP数据包与服务器通信，所述UDP数据包中包含待上传文件的指纹、文件名、文件大小、目的IP以及是否重删标志，然后等待接收控制命令，决定是否继续上传整个待上传文件内容；

步骤2openflow交换机在收到所述UDP数据包时进行流表匹配，如果匹配失败，则通过openflow协议的Packet-In消息上传至SDN控制器，然后执行步骤4，否则执行步骤3；

步骤3在openflow交换机缓存中进行所述待上传文件的指纹信息匹配，查找文件是否存在，如果文件存在则执行步骤5，否则将所述UDP数据包通过Packet-In消息发送给所述SDN控制器中进行全局的文件去重，然后执行步骤4；