[发明专利]一种数据存储、查找方法及装置

说明书

技术领域

本发明涉及数据存储技术领域，特别是涉及一种数据存储、查找方法及装置。

背景技术

在性能采集系统中，往往需要周期性地从设备的多个采集点上采集多种性能数据。采集点是指设备上可以提供性能数据采集和统计的物理实体，是设备上指定的获取性能数据的来源。这些性能数据会以某种持久化的方式被存储起来，采集规模较大时，存储的数据是海量的。在海量的数据中常常需要进行一些查询，这些查询条件包括某个或者少量采集点标识(能唯一标识某个采集点的编号，可以为字串)、性能数据的采集时间范围、性能数据的数值范围等，这些数据被查询出来将以图形或者图表的形式显示在GUI(Graphical User Interface，图形用户界面)上，这些都涉及到性能数据的随机读取。

目前的系统往往都是将性能数据保存在关系数据库中(类似SQLSERVER，ORACLE等)，可是由于这些数据表最终都是存储在同一个或者少数几个文件(当支持对物理表的逻辑分表时)中。一般来讲，由于受到磁头移动和寻道的影响，在这样的大数据文件中基于磁盘的随机读写性能往往比较低效。数据库虽然可以帮助建立相应的索引，但是性能采集系统的数据具有自己的业务特征，这样的索引不足以提高随机查询时的效率，不能确保查询数据的集中性，从而不能减少相应的IO(Input Output，输入输出)操作，以至于效率较低；同时所占的空间开销也较大。数据库的数据插入对文件来说也不能保证顺序追加，从而产生磁头移动和寻道，而这些对一次写入，多次读取的性能数据来说都是不必要的。特别是某些给定查询条件的性能数据查询时，为了要读出性能数据，会有大量的随机读取操作，导致查询性能极其低下，客户体验不好；关系型数据库对数据的存储方式以及SQL(Structured Query Language，结构化查询语言)的查询已经不适合目前海量级别的性能数据。

发明内容

本发明要解决的技术问题是提供一种数据存储、查找方法及装置，用以解决现有技术中由于性能数据随机存储而造成在海量级数据中查询数据效率低下的问题。

为解决上述技术问题，一方面，本发明提供一种数据存储方法，所述方法包括以下步骤：

将每个数据采集周期内采集的性能数据按业务特征分类存储在性能文件中不同的性能数据归类中；

将每个所述性能数据归类对应的索引信息存储在与所述性能文件对应的归类索引文件中。

进一步，每个所述性能数据归类对应的索引信息包括：与该性能数据归类对应的归类业务类别标识、该性能数据归类中第一条性能数据在所述性能文件中的存储位置，以及该性能数据归类的大小。

进一步，每一条性能数据只存储于一类性能数据归类中；且属于同一性能数据归类中的性能数据按照数据采集的前后顺序依次存入。

另一方面，本发明还提供一种数据查找方法，所述方法包括以下步骤：

根据待查性能数据，确定所述待查性能数据所属的性能数据归类；

在归类索引文件中，查找与所述性能数据归类对应的索引信息；

根据所述索引信息，在所述性能文件中查找所述待查性能数据。

进一步，根据所述索引信息，在所述性能文件中查找所述待查性能数据，具体包括以下步骤：

根据所述索引信息，获取所述性能数据归类中第一条性能数据在所述性能文件中的存储位置，以及所述性能数据归类的大小；

将所述第一条性能数据在所述性能文件中的存储位置作为查询起始位置，查询结束位置为所述第一条性能数据在所述性能文件中的存储位置偏移所述性能数据归类大小之后所处的位置，在所述查询起始位置与查询结束位置之间查找所述待查性能数据。

再一方面，本发明还提供一种数据存储装置，包括：

性能数据存储单元，用于将每个数据采集周期内采集的性能数据按业务特征分类存储在性能文件中不同的性能数据归类中；

索引信息存储单元，用于将每个所述性能数据归类对应的索引信息存储在与所述性能文件对应的归类索引文件中。

进一步，每个所述性能数据归类对应的索引信息包括：与该性能数据归类对应的归类业务类别标识、该性能数据归类中第一条性能数据在所述性能文件中的存储位置，以及该性能数据归类的大小。

进一步，所述性能数据存储单元将每一条性能数据只存储于一类性能数据归类中；且将属于于同一性能数据归类中的性能数据按照数据采集的前后顺序依次存入。

再一方面，本发明还提供一种数据查询装置，包括：

性能数据归类确定单元，用于根据待查性能数据，确定所述待查性能数据所属的性能数据归类；