[发明专利]数据存储方法、数据查询方法、装置及系统

摘要

本发明公开了一种数据存储方法、数据查询方法、装置及系统，属于计算机技术领域。所述方法包括：将数据文件存储至第一文件系统中；为数据文件中的每条数据记录生成对应的索引信息，索引信息用于指示数据记录对应的数据文件和数据记录在数据文件中的存储位置；将索引信息存储至第二文件系统中，第二文件系统的数据查询速度高于第一文件系统的数据查询速度。本发明解决了MapReduce无法完成对海量数据的快速查询处理的问题；达到了可以使用第一文件系统完成海量信息的存储，同时利用第二文件系统实现快速查询的效果，本方案能够实现海量数据的秒级查询反馈。

主权项

1.一种数据存储方法，其特征在于，所述方法包括：将数据文件按照所述数据文件的属性信息存储至第一文件系统中，所述属性信息包括所述数据文件对应的时间范围和文件名，所述数据文件包括至少一条数据记录；对于每条所述数据记录，提取所述数据记录中需要建立索引的一个索引字段值、所述数据文件的文件名和所述数据记录在所述数据文件中的偏移值，根据所述索引字段值、所述数据文件的文件名和所述数据记录在所述数据文件中的偏移值生成与所述数据记录对应的一条索引信息，其中，每条所述数据记录中需要建立索引的索引字段值为一个或一个以上，所述索引信息用于指示所述数据记录对应的所述数据文件和所述数据记录在所述数据文件中的存储位置；将所述索引信息存储至第二文件系统中，以便于根据查询请求中的至少两个索引字段值中的每个索引字段值在所述第二文件系统的至少一个索引表中查询对应的索引信息，将各个所述索引字段值对应的索引信息取交集，得到交集后的索引信息，根据所述查询请求中的时间范围在所述第一文件系统中查找至少一个数据文件，根据交集后的所述索引信息中的目标数据记录对应的数据文件的文件名在所述至少一个数据文件中查找匹配的数据文件，并根据交集后的所述索引信息中的偏移值在所述匹配的数据文件中查找目标数据记录，所述第二文件系统的数据查询速度高于所述第一文件系统的数据查询速度。