[发明专利]一种数据云存储系统及方法

说明书

技术领域

本发明涉及数据云处理技术领域，尤其涉及一种数据云存储系统及方法。

背景技术

随着信息技术的不断发展，以社交网络为代表的在线数据密集型应用迅速发展并普遍被人们接受。在线密集型数据对数据的实时性、交互性、准确性等均有较高的要求，而现有的采用磁盘访问的数据云存储系统具有较高的延迟，已经称为大数据时代影响计算机性能的瓶颈。NoSQL等新型数据库系统以及云计算的出现，虚拟化和分布式的处理方式的产生均大大提升了计算机系统的服务性能，但都未能从根本上解决计算机磁盘的延迟问题。

随着硬件技术的发展，内存快速传输的特点称为了取代磁盘的选择之一，云系统的存储技术也得以发展。常用的云系统存储技术RAMCloud内存云技术中，云系统的数据中心被从磁盘迁移至内存(即动态随机存储器DRAM)中，并且利用固态硬盘(SSD)或者机械硬盘(HDD)作为数据备份的载体，从而能够实现数据在内存系统中的快速访问。但是这种内存云系统的构建受到内存高昂价格的影响，并且内存容量较低，功耗较大，使得大规模的内存云集群成本过高，并且无法大规模应用在海量的在线密集型应用的数据存储中。同时，随着用户量和用户数据量的增长以及时间的推移，必须使用更多的DRAM来放置和处理数据。例如，第一年需要使用1PB的DRAM处理数据，以及需要使用2PB的SSD/HDD进行数据备份，假设每年增加的用户量以及用户数据量相同，那么到第五年，当用户增加的时候，仍然需要添加1PB的DRAM以及2PB的SSD/HDD。

另外一种云存储方案是在内存云的基础上，采用分级存储管理的方式，引入SSD作为二级存储介质，并通过各种处理策略对存储空间内的数据的重要性或者访问频繁程度进行排名，选取重要性最高或者访问最频繁的部分数据(例如15％的数据)迁移至内存中，次之的部分数据(例如45％的数据)迁移至SSD中，其余数据被保存到HDD中，然后在HDD中再对所有数据进行备份。这种解决方法虽然在一定程度上解决了内存云的成本和功耗等问题，但是会因为被放入SSD或者HDD中的数据存在较长的读取延时而给用户体验带来较大的影响。并且，上述对数据进行重要性或者访问频繁程度的统计和排名通常只是短时期的分析，分析结果均为易失性的(因为处理器和内存均是易失性的)，因此这种统计分析并不能很好地真正反映用户的访问特征。同时，为了满足用户量以及用户数据量的不断增长，同样需要搭建更庞大的存储结构。例如，第一年需要使用1PB的DRAM、1PB的SSD以及1PB的HDD，假设每年用户量以及数据量的增长固定，则到了第五年，当用户增加的时候，仍然需要分别添加1PB的DRAM、SSD以及HDD。并且随着时间的推移以及使用次数的增加，SSD的寿命在降低，无效的存储块越来越多，从而使得可用的SSD容量越来越小，这同样使得整个存储架构中需要添加更多的SSD来满足用户的需求。

发明内容

根据现有技术中存在的上述问题，现提供一种数据云存储系统及方法的技术方案，旨在扩大数据中心的数据存储容量，通过长期自学习统计提升数据存储的可靠性和合理性，满足用户的需求，保证用户体验。

上述技术方案具体包括：

一种数据云存储系统，应用于数据中心的服务器中；其中，包括：

数据存储单元，用于保存数据；

数据迁移单元，连接所述数据存储单元，用于将所述数据存储单元中保存的部分数据迁移至连接所述数据迁移单元的一数据备份单元中进行保存；

保存于所述数据存储单元中的数据的实时性要求高于保存于所述数据备份单元中的数据的实时性要求；

自学习单元，连接所述数据存储单元，用于持续统计使用者对所述数据存储单元中的数据的操作状态，并根据所述操作状态统计得到用于表示所述使用者对所述数据存储单元中保存的数据的实时性要求的统计结果，所述自学习单元将所述统计结果保存于一连接所述自学习单元的结果存储单元中；

所述数据迁移单元还连接所述结果存储单元，用于从所述结果存储单元中获取所述统计结果，并根据所述统计结果选择将部分数据迁移至所述数据备份单元中进行保存；

所述自学习单元持续更新所述结果存储单元中的所述统计结果；

所述结果存储单元被设置在非易失性存储器中。

优选的，该数据云存储系统，其中，所述数据存储单元包括至少一个动态随机存储器。

优选的，该数据云存储系统，其中，所述数据备份单元包括至少一个固态硬盘存储器和/或至少一个机械硬盘存储器。

优选的，该数据云存储系统，其中，所述自学习单元进一步包括：