[发明专利]一种海量非结构化数据的数据存储方法

说明书

本发明公开了一种海量非结构化数据的数据存储方法。本方法为：1)设定一时间间隔T，将数据存储集群划分为多个分区，用于将同一时间间隔T内的记录存储到同一分区内；同时将每一分区划分为n个散列区；2)对于每条非结构化记录，提取其产生的时间t以及一个或多个唯一表示该记录的关键信息key；3)根据每条记录的时间t，确定其要存储到的分区，然后根据该记录的关键信息key计算其在该分区中对应的散列区值；4)根据步骤3)的计算结果，将属于同一时间间隔且散列区值相同的记录写入同一文件F中并统计该文件F的记录数，如果记录数大于设定阈值K，则在当前散列区中创建另一文件进行存储。本发明存储方法能够大大提升了数据检索效率。

技术领域

该发明涉及一种海量非结构化数据的数据存储方法，特别涉及一种在分布式存储场景下，支持按照时间间隔(Interval)和散列(Hash)两级划分规则策略进行非结构化数据组织的、按照数据量进行动态调整的海量数据管理模型和方法，并支持在该数据组织基础上进行数据索引创建，以实现更高效的检索速率。属于海量数据存储管理研究领域。

背景技术

计算机应用的不断发展导致了数据量的急剧增加，由于数据结构化过程受限于人工处理速度，导致了非结构化数据的增长速度远远大于结构化数据。对于目前不断增加以致达到TB、PB级的大规模数据，需要更好的工具或技术来对文件进行组织和管理，高效的数据组织方法能够帮助人们在需要时迅速地从后台大规模数据中获取自己想要的数据。

文件系统作为本地存储系统的数据组织管理者，它在不同操作系统平台下有不同的组织结构和操作形式。基于多种主机文件系统和分布式文件系统的研究成果，适用于大规模数据组织的文件系统，例如Cluster File System的Lustre，Google的GFS，以及基于语义的文件系统等在海量数据组织上都提供了良好的性能。

Cluster File System公司Lustre是面向下一代存储的分布式文件系统。Lustre对于文件管理采取的是数据与元数据分离，元数据集中管理的机制。它采取单一的元数据服务器来对元数据进行存储和管理。这种分离机制可以更好的利用各自存储设备和传输网络的特性，提高系统的性能，有效降低系统的成本。

由于很多的小文件在实际存储的时候都是通过汇聚的方式形成一个较大的文件存储在磁盘上的，这样做可以避免很多小文件导致的元数据规模变大的问题，也可以有效降低磁盘寻址的时间消耗，并且可以使用缓存技术进行数据预存储，但是，上述场景的技术实现难度主要是数据(数据：单个小文件)来源、数据大小、数据在某个时间段内的总量均不可预期，无法使用一个固定模式设定数据存储规则，即无法保证数据汇集的这个大文件能有效控制在一定范围，因为如果汇聚的文件过大会导致加载困难，太小又没什么用。

发明内容

针对现有技术中存在的技术问题，本发明提出了一种按照时间间隔(Interval)和散列(Hash)两级划分的方式进行非结构化数据存储组织的数据模型，支持先按照不同时间粒度进行数据分区，再对不同时间粒度下的数据分成不同的散列区进行存储，实现非结构化数据的有效组织，并在此基础上支持数据索引的创建，提升了数据检索效率，解决了数据按照热点访问的提取难题，同时支持灵活调整时间粒度和散列区的大小，针对不同的业务场景进行自由变更，结合分布式环境下多节点、每个节点多盘位的现状，减少数据合并和迁移的场景，有效提升了数据访问的并发度和读取效率，进一步降低了系统扩容的复杂度。

本发明是通过时间间隔进行数据汇总，因此就可以记录一个时间指标，因为数据访问有一个特点，即最近的数据会被经常访问，时间越久，数据访问的频率会越低，所以本发明设定一个热点时间范围，比如最近7天为最热，再往前7天次之，依次类推，然后按照热度缓存数据，比如最近7天的数据全部缓存，再往前7天的数据只缓存索引，该缓存策略可以根据业务场景进行动态调整，提示数据检索效率。

本发明所采用的技术方案如下：

一种海量非结构化数据的数据存储方法，其步骤为：