[发明专利]一种二维瓦片在基于对象存储系统中的分布方法

说明书

技术领域

本发明涉及一种存储系统中的分布方法，尤其涉及一种二维瓦片在基于对 象存储系统中的分布方法。

背景技术

大规模地形实时漫游系统在多个领域(如数字地球、大规模军事仿真等) 得到了广泛应用，地形数据的网络用户急剧增加；随着地形数据分辨率的不断 提高，地形数据的数据量也呈爆炸性增长。当前的网络存储技术主要有直接附 属存储、网络附属存储和存储区域网三种，它们并不能给海量地形数据提供 种同时满足高性能的存储服务和跨平台的安全共享的存储解决方案。基于对象 存储技术是下一代的分布式网络存储技术，具有高性能、高可扩展性、高并行 性、易管理性和安全可靠的特点。将地形数据按平面格网划分成若干个瓦片， 每个瓦片以对象的形式存储在基于对象存储系统中，可以满足海量地形数据存 储管理对高性能存储服务和跨平台安全共享的要求。地形漫游系统一般需要提 取一个查询窗口内相邻的多个瓦片的地形数据，采取一定的分布方法使查询窗 口内的瓦片尽可能地分布到不同的基于对象存储设备上，充分利用基于对象存 储系统的高并行性，是降低瓦片平均响应时间提高系统性能的关键。

基于对象存储是一种分布式网络存储技术，具有高度的并发访问特性。数 据在多个基于对象存储设备上分布的方法主要有两类：一类是基于映射表的方 法，另一类是基于映射函数的方法。基于映射表的方法通过元数据目录映射表 来记录数据的位置信息，如通常采用的顺序分片映射或Hash方式。这类方法 一方面造成数据分布的不均衡性，而且很少考虑设备之间性能的差异，更加剧 了设备的利用率不均衡；另一方面，随着系统的扩展，采用映射表记录数据对 象分布的位置所需的时间和空间代价使得元数据查找性能称为系统性能的瓶 颈。基于映射函数的方法是在存储客户端采用映射函数直接算出数据对象的位 置信息。虽然映射函数一般比较复杂，但是可以解决基于映射表的方法的数据 分布不均衡性和元数据查找性能瓶颈等问题，正成为目前大型存储系统数据分 布方法研究的热点。

在地形漫游系统中，查询窗口中所有瓦片都得到响应才能得到完整的地形 数据，其响应时间取决于查询窗口中响应时间最长的瓦片。这就要求查询窗口 中的所有瓦片响应时间尽可能相同。为此，查询窗口中的每个瓦片应当分布到 性能相同的互不不同的基于对象存储设备上，现有的基于对象存储对象分布方 法并不能完全达到这种要求。

发明内容

本发明的目的在于提供一种二维瓦片在基于对象存储系统中的分布方法， 该方法降低查询窗口中瓦片的平均响应时间，提高地形漫游系统地形数据访问 性能。

本发明是这样来实现的，其特征是方法步骤为：首先，构建一组性能完全 相同的虚拟存储设备V＝{V₀，V₁，…，V_M-1}，并且容量不限；地形数据划分成若 干个二维瓦片，将查询窗口中对应位置上的二维瓦片分布到M个虚拟存储设备 中，M个虚拟存储设备中的数据依次均匀映射到[0，1)中的M个等间距的区间； 然后，按照N个真实存储设备R＝{R₀，R₁，…，R_N-1}所分布的数据量占总数据量 的百分比Ω＝{ω₀，ω₁，…，ω_N-1}依次划分区间[0，1)；最后，将落在各个真 实存储设备区间的二维瓦片映射到对应的真实存储设备上。

所述的地形数据被水平和垂直网格线划分成N₁*N₂个瓦片，记为(tx，ty)， 其中0≤tx≤N₁-1，0≤ty≤N₂-1，N₁和N₂均为整数。

所述的M为正整数，是查询窗口中二维瓦片的个数。

所述的N为正整数，是真实存储设备的个数。

所述的均匀映射采用蒙特卡罗方法。

所述真实存储设备所分布的数据量占总数据量的百分比Ω＝{ω₀，ω₁，…， ω_N1}是按照其实际性能计算出各个真实存储设备所分布的数据量A＝{a₀， a₁，…，a_N-1}，然后按照公式计算。