[发明专利]一种云存储量子数据及处理系统

说明书

技术领域

本发明涉及数据处理和云存储领域，特别是明涉及一种云存储数据及处理系统。

背景技术

随着互联网应用的广泛普及，海量数据的存储和访问成为了系统设计的瓶颈问题。切分数据，可以降低单台机器的负载，通过负载均衡策略，有效地降低了单台机器的访问负载，降低了宕机的可能性；通过集群方案，虚拟存储和备份，增加了数据安全性和可靠性；通过多路读写，可大大提高了应用中读取 （Read）数据的速度和并发量。

数据切分不是一门新技术，而是一个相对简朴的软件理念。例如，多媒体流文件是一种连续传输的大数据文件，常用的存储方式需要服务器有较大存储空间，对视频服务器的负荷要求极高，且占用大量带宽资源，维护起来比较麻烦，投资运营成本较高。苹果公司发明的Http Live Streaming （HLS）技术是将整个流媒体切片的典型应用，其流媒体文件由一个服务器分发。在播放端，用户可以根据M3u8索引文件，从流媒体服务器下载切片组装还原流媒体。

作为为了互联网传输技术的突破技术之一，MIT专家提出了标定数据网络的概念（Named Data Network，NDN）。可见，具有信息内容，数据标签和地址标签的数据结构，将是NDN的最佳数据元。

发明内容

本发明提出一种云存储量子数据及处理系统，将大数据块切片成量子数据片，按照内容标记、顺序标记、时序标记、存储设备IP地址，备份存储设备IP地址，生成量子数据块的索引参数组，所述量子数据片存储到任意分配的云存储设备和备份设备中。所述的索引数据存储在管理服务器数据库中。当用户端检索和下载内容标识的内容，管理服务器将生成索引数据文件下载给用户，用户将根据量子数据片的存储地址和顺序标识或时序标识下载和重组恢复原数据文件。所述的云存储系统由管理服务器、云存储设备及用户组成。本发明解决互联网应用中海量数据存储和访问瓶颈，大大减小了对单一存储单元的负荷要求，且便于对文件进行管理，减少运营成本和带宽资源。

作为优选方案之一，所述的量子数据由量子数据片，内容标识，序列标识号，时序标识、存储设备地址，备份设备IP地址，组成。

进一步，所述的量子数据可分解为量子数据片，和索引数据两部分。

进一步，所述的量子数据片存储在具有IP地址为的存储设备，及具有IP地址为，的备份存储设备中。

进一步，所述的索引数据存储在管理服务器的数据库中。

进一步，所述的内容标识，直接用内容的名称赋值，便于在检索时根据内容标识生成索引文件，存储在数据库中。例如，检索某一份文档，，从数据库中检索出所有含的索引数据，生成索引文件。用户根据该索引文件从存储其量子数据的存储设备中下载，并根据该索引文件重组数据文件。

进一步，序列标识号表示第i个量子数据切片序号，时序标识表示第j个时间标识。序列标识号和时序标识，都可以用来按照顺序重组和恢复数据文件。

作为优选方案之二，所述的数据文件量子化步骤是，将原文件C（）顺序切割成一个个量子数据片；给每一个量子数据片按顺序分配序列标识和时间序列标识；再给分配相应存储设备（IP地址）；将索引数据存入数据库，量子数据片存入具有地址的存储设备。

进一步，所述的索引数据包括内容标记、排序标记和时间标记、及量子数据片存储地址。

进一步，所述的量子数据片大小可以根据具体情况做最佳化调整。

作为优选方案之三，所述的原文件获取的步骤如下：首先在数据库中根据内容分类检索到所需的内容，存储管理服务器根据生成索引文件，并将索引文件下载给用户；用户根据量子数据片的存储地址取得所有的量子数据片；再根据量子数据片的顺序重组和恢复数据文件。

进一步，所述的量子数据下载，可以同时多路下载以提高下载速度和效率。

进一步，所述的原文件重组可以便下载边进行，以减少时延。

作为优选方案之三，所述的量子数据片可以存储在不止一个存储设备上，这些存储设备分别记为主存储设备和备份存储设备。

进一步，所述的存储设备用IP地址区分。具有地址的设备记为主存储设备，依次具有，的存储设备分别为备份存储设备。

进一步，在数据作备份存储时，索引数据将增加备份存储设备地址。可以增加不止2个备份存储设备，以增加数据安全性。

进一步，在主存储设备中的量子数据片丢失或损坏时，将依次从备份存储设备中获取量子数据片。