[发明专利]数据存储方法、数据查询方法及装置

说明书

本发明公开了一种数据存储方法，属于数据存储技术领域。所述方法包括：对流式数据中的数据进行切分，获得数据片段；根据所述流式数据的标识以及所述数据片段对应的时间信息进行哈希计算，获得所述数据片段对应的虚拟存储节点的标识；根据所述数据片段对应的虚拟存储节点的标识确定所述数据片段对应的至少一个存储设备；将所述数据片段存储至对应的至少一个存储设备。后续用户在查找流式数据中的数据时，只需要提供需要查找的数据对应的时间信息，存储系统可以直接根据时间信息确定出存储对应的数据片段的存储设备，从而降低存储系统在查询流式数据过程中的系统开销，节约系统资源。

技术领域

本发明实施例涉及数据存储技术领域，特别涉及一种数据存储方法、数据查询方法及装置。

背景技术

一致性哈希(hash)算法是无中心节点的分布式存储方案中常用的算法，通过一致性哈希算法可以避免采用专用元数据服务来管理数据分布而导致的性能瓶颈、单点故障以及数据一致性等问题。

存储系统在通过一致性哈希算法对流式数据进行存储时，需要将接收到的流式数据切分为不同的数据片段，并对每一个数据片段的名称进行哈希计算，以确定该数据片段所在的存储设备。

由于流式数据的存储过程中，对流式数据进行切分的步骤由存储系统自动完成，对每一个数据片段的命名也由存储系统来实现，即用户无法知晓单个数据片段的名称，当用户查找某个数据片段时，存储系统中所有用于存储该流式数据的存储设备都需要在本地查询该数据片段，导致对流式数据中的数据进行查找的过程中，存储系统的开销较大，浪费较多的系统资源。

发明内容

为了解决现有技术中对流式数据中的数据进行查找的过程中，存储系统的开销较大，浪费较多的系统资源的问题，本申请提供了一种数据存储方法、数据查询方法及装置。

第一方面，提供了一种数据存储方法，所述方法包括：

对流式数据中的数据进行切分，获得数据片段；

根据所述流式数据的标识以及所述数据片段对应的时间信息进行哈希计算，获得所述数据片段对应的虚拟存储节点的标识，所述时间信息用于指示所述数据片段对应在所述流式数据中的时间；

根据所述数据片段对应的虚拟存储节点的标识确定所述数据片段对应的至少一个存储设备；

将所述数据片段存储至所述数据片段对应的至少一个存储设备。

可选的，所述方法还包括：

接收包含目标时间的查询请求，所述查询请求用于查询所述流式数据中的数据片段；

根据所述目标时间确定所述数据片段对应的时间信息；

根据所述流式数据的标识以及所述数据片段对应的时间信息进行哈希计算，获得所述数据片段对应的虚拟存储节点的标识；

根据所述数据片段对应的虚拟存储节点的标识确定所述数据片段对应的至少一个存储设备；

从所述数据片段对应的至少一个存储设备中查询所述数据片段。

可选的，所述根据所述流式数据的标识以及所述数据片段对应的时间信息进行哈希计算，获得所述数据片段对应的虚拟存储节点的标识，包括：

按照一致性哈希算法分别对所述流式数据的标识以及所述数据片段对应的时间信息进行哈希计算，获得所述流式数据的标识的哈希数值以及所述数据片段对应的时间信息的哈希数值；

根据所述流式数据的标识的哈希数值以及所述数据片段对应的时间信息的哈希数值获得所述数据片段对应的虚拟存储节点的标识。

可选的，所述根据所述流式数据的标识的哈希数值以及所述数据片段对应的时间信息的哈希数值获得所述数据片段对应的虚拟存储节点的标识，包括：