[发明专利]数据写入方法、数据查询方法、装置及设备

说明书

本发明实施例提供数据写入方法、数据查询方法、装置及设备，数据写入方法应用于数据节点，包括：接收网关发送的待写入数据和待写入数据的数据源标识；将所述待写入数据和所述数据源标识写入所述数据节点的内存中的第一数据块；在所述第一数据块写满之后，根据所述第一数据块中的数据源标识，将所述第一数据块中的数据写入所述数据节点的第二数据块的子数据块中，所述第二数据块位于所述数据节点的持久化磁盘中，所述第二数据块包括多个子数据块。在保证数据存储系统能够存储大量数据的基础上，能够快速进行数据查询。

技术领域

本发明实施例涉及存储领域，尤其涉及一种数据写入方法、数据查询方法、装置及设备。

背景技术

目前，在很多数据存储系统中，需要存储大量的数据，并且需要进行频繁数据写入操作以及数据查询操作。

在现有技术中，为了使得数据存储系统能够存储大量的数据，通常会在数据存储系统中部署多个数据节点，由该多个数据节点进行数据存储以及数据读写。在实际应用过程中，在进行数据写入时，通常在多个存储节点中选择一个数据节点进行数据存储，并记录每个数据节点中存储的数据的标识。在进行数据查询时，根据每个数据节点中存储的数据的标识、以及待查询数据的标识确定目标数据节点，并在目标数据节点中获取待查询数据。

然而，在上述过程中，当数据存储系统中存储的数据量较大时，需要通过大量的数据查询才能够确定待查询数据所在的目标数据节点，导致数据查询的效率低下。

发明内容

本发明实施例提供一种数据写入方法、数据查询方法、装置及设备，在保证数据存储系统能够存储大量数据的基础上，能够快速进行数据查询。

第一方面，本发明实施例提供一种数据写入方法，应用于数据节点，所述方法包括：

接收网关发送的待写入数据和所述待写入数据的数据源标识；

将所述待写入数据和所述数据源标识写入所述数据节点的内存中的第一数据块；

在所述第一数据块写满之后，根据所述第一数据块中的数据源标识，将所述第一数据块中的数据写入所述数据节点的第二数据块的子数据块中，所述第二数据块位于所述数据节点的持久化磁盘中，所述第二数据块包括多个子数据块。

在一种可能的实施方式中，所述根据所述第一数据块中的数据源标识，将所述第一数据块中的数据写入所述数据节点的第二数据块的子数据块中，包括：

确定所述第一数据块中包括的至少一个数据源标识；

在所述第一数据块中确定每个数据源标识对应的数据；

依次将每个数据源标识对应的数据写入所述第二数据块的子数据块中。

在另一种可能的实施方式中，所述依次将每个数据源标识对应的数据写入所述第二数据块的子数据块中之后，还包括：

生成所述第二数据块的索引文件；

其中，所述索引文件中包括所述第二数据块中每个数据源标识与子数据块的第一映射关系，以及所述第二数据块中数据源标识中包括的每个数据标签与子数据块的第二映射关系。

在另一种可能的实施方式中，所述索引文件还包括每个数据源标识对应的第一映射关系在所述索引文件中的存储位置，以及每个数据标签对应的第二映射关系在所述索引文件中的存储位置。

第二方面，本发明实施例提供一种数据写入方法，应用于网关，所述方法包括：

接收数据写入请求，所述数据写入请求包括待写入数据和所述待写入数据的数据源标识；

根据所述数据源标识，确定待写入数据对应的目标数据节点；