[发明专利]一种基于分布式存储系统的数据读取方法、系统及装置

说明书

本发明提出了一种基于分布式存储系统的数据读取方法，包括：接收客户端发送的读操作请求；统计所述读操作请求中要读取数据的热度；判断当前操作是否为读操作，如果否，则继续接收客户端发送的读操作请求；如果是，则判断pgcache中是否存在所述读操作请求的对象数据，如果存在，则组装所述要读取数据的内容；如果不存在，则利用OSD处理读操作请求，处理完成后，组装所述要读取数据的内容。由此可见，本方法通过在主pg上缓存一些热数据,并伴随数据的读取及时进行pgcache中的数据老化和热数据更新，能够有效的降低读延时，提高了分布式存储系统的数据读取速度，进而提高了系统整体的读写性能。

技术领域

本发明涉及数据存储技术领域，更具体的说是涉及一种基于分布式存储系统的数据读取方法、系统及装置。

背景技术

随着计算机技术的发展，服务器存储的数据越来越多，单个服务器就没有办法满足存储数据的要求，因此发展出分布式存储系统。

在当前常用的分布式存储系统中，考虑到数据存储的可靠性，常用纠删码技术对数据做一定的冗余来增加系统的可靠性，将存储的数据切分为K个数据块，通过编码算法计算出M个校验块，并存入纠删数据池中，利用K+M个数据块中的任意K个数据块就能恢复原始的数据。通过该纠删码的纠删规则设定，就可控制存储空间大小，有利于提高存储的利用率。

但是，由于现有的处理逻辑是使用固定的条带大小来创建纠删数据池，无法针对不同的数据设置不同的条带大小，也就无法适应不同类型的文件存储，造成空间利用率的下降。空间利用率的下降会带来多余数据的读写操作，造成系统整体的读写性能下降。因此，在分布式存储系统上纠删数据池的读取操作时延较大，用户访问纠删数据池时响应太慢，严重影响了用户体验度。

发明内容

针对以上问题，本发明的目的在于提供一种基于分布式存储系统的数据读取方法、系统及装置，通过在主逻辑存储单元PlacementGroup（简称PG）上缓存一些热数据（一个对象在一定的时间区间内的访问次数的多少来表示它的热度），有效的降低读延时，充分提高用户体验度。

本发明为实现上述目的，通过以下技术方案实现：一种基于分布式存储系统的数据读取方法，包括如下步骤：

步骤1：接收客户端发送的读操作请求；

步骤2：统计所述读操作请求中要读取数据的热度；

步骤3：判断当前操作是否为读操作，如果是，转到步骤4；如果否，则转到步骤1；

步骤4：判断pgcache中是否存在所述读操作请求的对象数据，如果存在，则转到步骤6；如果不存在，则转到步骤5；

步骤5：利用OSD处理读操作请求，处理完成后转到步骤4；

步骤6：组装所述要读取数据的内容；

步骤7：读取完成，返回客户端。

进一步，所述利用OSD处理读操作请求，具体包括：

步骤51：判断pgcache中是否存在读操作请求的对象，如果存在，则转到步骤54；如果不存在，则转到步骤52；

步骤52：判断pgcache是否达到门限，如果是，则转到步骤53；如果否，则转到步骤54；

步骤53：删除pgcache中热度最小的数据；

步骤54：更新pgcache中所述读操作请求的对象数据。

进一步，所述影响数据热度的操作，包括：write、truncate、writefull、zero或delete。

进一步，如果在利用OSD处理读操作请求时发生异常，将pgcache在 SSD上的文件进行清除。