[发明专利]基于磁盘缓存的虚拟光盘库存储系统替换算法

说明书

【技术领域】

本次发明是高新科学技术项目，主题内容是应用于虚拟光盘库存储系统的基于磁盘缓存的替换算法。

【背景技术】

随着大数据时代的到来，全球数据总量呈现爆发式增长，2013年，全球数据总量达到3.5ZB，并以每两年翻一番的速度快速增长。如此浩瀚的数据中，80％以上属于归档类信息。

据IDC研究显示，数据存储行业将在2013-2018年快速增长，2015年，全球存储产品市场总量为541.78亿美元，并将以20.68％的年复合率增长。一方面是全球归档数据的快速增长，一方面是以磁盘/磁带为代表的磁介质存储弊端的凸显。大数据需要创新的存储介质和存储系统。

传统磁存储模式具有能耗过高、磁盘寿命短，不宜长期保存、数据安全性低和数据迁移难度高等弊端；随着蓝光光盘行业标准的确立，蓝光光盘迎来高速发展期。世界各国越来越重视数据的长期安全存储，美英等西方国家更是视数据为重要的战略资源，基于光存储的光盘库存储方案有诸多优势：1)光盘的能耗低，2)光盘寿命长，3)数据安全性高。

【发明内容】

本发明采用虚拟光盘库技术将磁盘技术与光盘库技术结合，在磁盘空间上模拟光盘库存储，把磁盘当做光盘访问，从而实现用磁盘代替光盘来存储数据。用户表面上访问到的是光盘或者光盘库，实际是通过虚拟光盘库模块将数据存储到磁盘上，因为是直接操作磁盘，没有机械臂、光驱等物理设备的运行时间，所以在继承传统基于光盘库的海量数据存储系统存储容量较大、总成本较低、存储寿命长等优点的基础上，明显增加了光盘数据的存取速度，在大数据时代具有重要的意义。基于虚拟光盘库的海量数据存储系统框图如附图1所示。

虚拟光盘库系统工作流程为：首先，对虚拟光盘库系统进行参数的设定，包括客户端的IP地址和端口地址、服务端的端口地址、添加用户名和日志文件等。参数设定后建立服务端与客户端的Socket通信，由服务端向光盘库发出光驱检测，如果光驱内存在光盘，则将光盘放入指定的光盘匣中。然后检测硬盘/磁盘阵列的存储空间，判断是否有足够的存储空间进行下面的存储操作，若存储空间不足则将错误写入日志文件中，并报告错误信息。

对数据的操作分为以下两种情况：数据存储方面，用户进行数据存储时，将向服务端发送数据传输命令，服务器在接到命令后，将对硬盘/磁盘阵列申请相应的磁盘空间，数据通过TCP协议传输至存储设备上。此时服务器将建立任务队列，并向光盘库申请相应的光盘，所要存储的数据将依次存储到光盘库中。此外，服务端将会通过相应的缓存策略，决定刻录的数据是否需要保存在硬盘/磁盘阵列中。数据查询方面，当用户需要对数据进行文件查询时，客户端通过数据库的检索，查询相应的文件信息，如果该文件在服务端的存储设备上，则将文件传输到客户端；如果该文件不在存储设备上，则向光盘库发出读取请求，并将数据传输到客户端中，以供用户查阅。虚拟光盘库系统工作流程框图如图2所示。

本发明提供了一种应用于虚拟光盘库存储系统的基于磁盘缓存的替换算法。替换策略(算法)是一种将“脏”数据替换出去，为新数据腾出空间的调度策略。这样做的目的是为了提高缓存的命中率。缓存命中率提高，系统对后备存储设备的访问就会减少，从而避免过多的I/O操作。处理机和存储系统中的缓存替换策略通常是一样的。本发明算法在磁盘空间上模拟光盘库存储，把磁盘当做光盘访问，从而实现用磁盘代替光盘来存储数据。所采用的MQ/F队列主要分为两个缓存队列。这些缓存队列不是以块进行存储，而是对文件所在的光盘进行存储。缓存队列分别是Q_fre队列和Q_out队列。当缓存不足且Q_fre队列占据过多缓存时，将Q_fre队列中的数据转移到Q_out队列中。当Qout队列中的缓存文件被访问时，将其转移到Q_fre队列中去。当缓存未命中时，则到光盘库中读取文件所在的光盘。具体的基于磁盘缓存的虚拟光盘库存储系统替换算法设计流程如附图3所示。

与现有方案对比，本发明具有以下显著有益效果：(1)克服了传统光盘存储的局限性，隐藏了多种存储介质，且没有机械臂、光驱等物理设备的运行时间，在数据读取速度上比直接访问光盘有大幅提高；(2)通过虚拟光盘库模块最终将数据存储到光盘或光盘库中，光盘或者光盘库就可以保持离线，即使物理存储体发生故障时，也不会影响整个物理存储系统的数据。因此，提高了整个存储系统的安全性和可靠性；(3)光盘存储无需磁带库和磁盘阵列那样高额的维护费用，能源消耗低且使用寿命长，极大地降低了用户的使用成本。