[发明专利]一种基于对象存储的自适应分级处理方法及系统

说明书

技术领域

本发明涉及云存储领域，具体涉及一种基于对象存储的自适应分级处理方法和系统。

背景技术

分级存储是根据数据的重要性、访问频率、保留时间、容量、性能等指标，将数据采取不同的存储方式分别存储在不同性能的存储设备上，通过分级存储管理实现数据客体在存储设备之间的自动迁移。数据分级存储的工作原理是基于数据访问的局部性，通过将不经常访问的数据自动移到存储层次中较低的层次，释放出较高成本的存储空间给更频繁访问的数据，可以获得更好的性价比。这样可大大减少非重要性数据在一级本地磁盘所占用的空间，还可加快整个系统的存储性能。

对象存储系统是以对象为访问接口的网络存储系统，对象存储文件系统提供一套类似于文件操作的访问接口，并将文件操作转化为对象访问，使得用户的多种应用程序不需要进行任何修改就可以运行在对象存储系统上。采用对象接口可以使对象存储系统在跨平台数据共享、安全性、性能以及智能性方面具有优势。在对象存储系统中，数据以对象为单位存放，对象可以提供数据的完整性。对象存储系统中以对象为粒度设计分级功能，以对象为粒度的分级架构由于迁移的对象不再是文件而是文件中的热点对象，这样做就减少了迁移的数据量，同时由于对象较小，大大简化了迁移过程中对数据的处理，加速了迁移过程。

目前通用的分级设计将磁盘根据性能聚合为两个性能不同存储池，在用户指定的业务空闲期根据数据的热度进行数据在存储池间的迁移。通常情况下高性能存储池虽然访问效率高，但是通常成本很高，因此仅配置少量的高性能存储空间用于存放热点数据。当热点数据过多或者用户策略设置不太合理的情况下，很容易造成高性能存储池空间不足，这时通常的处理方法是拒绝用户的访问请求，或者通过提前预警的方式提醒用户进行高性能存储池的扩容或者手动进行部分数据的迁移，这样会严重影响用户的使用体验。

发明内容

为了解决上述问题，本发明提出了一种基于对象存储的自适应分级处理方法及系统，能够提高系统的访问效率。

为了达到上述目的，本发明提出了一种基于对象存储的自适应分级处理方法，该方法包括：

在对象存储操作到来时，主进程首先计算对象热度，根据系统当前的数据计算系统容量水位，在完成计算后，主进程继续进行正常的主进程存储操作，并在系统容量水位达到水位上限时，将系统容量水位达到水位上限的消息放入水位监控队列中。

分级进程读取水位监控队列中的系统容量水位达到水位上限的消息，根据计算的对象热度，执行由高性能存储池向低性能存储池的对象数据单向迁移操作。

优选地，系统容量水位是指：存储空间中已被占用空间与存储空间的总容量之间的比值。

优选地，分级进程根据计算的对象热度，执行数据单向迁移操作是指，分级进程遍历对象存储系统中的对象，根据对象的对象热度优先将对象热度最低的对象数据由高性能存储池迁移到低性能存储池。

优选地，该方法还包括：在分级进程将具有最低对象热度的对象迁移完成之后，主进程再次计算系统容量水位，如果系统容量水位仍然大于或等于所述水位上限，则主进程再次将系统容量水位达到水位上限的消息放入水位监控队列中；分级进程读取监控队列中的消息，并基于对象热度继续进行迁移操作，如果系统容量水位小于水位上限，则主进程继续进行正常的主进程存储操作，并在预定时间内进行下一次系统容量水位的计算，分级进程定时扫描监控队列，等待下一个系统容量水位达到水位上限的消息。

本发明还提出一种基于对象存储的自适应分级处理系统，该系统包括：主进程模块、分级进程模块。

主进程模块，用于在对象存储操作到来时，首先计算对象热度，根据系统当前的数据计算系统容量水位，在完成计算后，继续进行正常的主进程存储操作，并在系统容量水位达到水位上限时，将系统容量水位达到水位上限的消息放入水位监控队列中。

分级进程模块，用于读取水位监控队列中的系统容量水位达到水位上限的消息，根据计算的对象热度，执行由高性能存储池向低性能存储池的对象数据单向迁移操作。

优选地，分级进程模块还用于，遍历对象存储系统中的对象，根据对象的对象热度优先将对象热度最低的对象数据由高性能存储池迁移到低性能存储池。

优选地，

主进程模块还用于：在分级进程模块将具有最低对象热度的对象迁移完成之后，再次计算系统容量水位，如果系统容量水位仍然大于或等于水位上限，则再次将系统容量水位达到水位上限的消息放入水位监控队列中；如果系统容量水位小于水位上限，则继续进行正常的主进程存储操作，并在预定时间内进行下一次系统容量水位的计算。