[发明专利]一种处理时间序列数据的方法和装置

说明书

本发明提供一种处理时间序列数据的方法和装置，其占用较小的系统硬件资源并且便于在不同的操作系统之间移植。本发明的处理时间序列数据的方法包括：接收多个时间序列数据项并缓存，其中各个时间序列数据项包含以时间为序的多个数据元；当缓存的时间序列数据项的量达到预设值，或者进行缓存的时间达到预设值时，将多个缓存的时间序列数据项持久化为一个数据文件，从而得到多个数据文件；对于各个时间序列数据项，将其在所述数据文件中的位置记录在局部索引中的以该时间序列数据项的标识为标识的条目中，并且数据文件与局部索引唯一对应。

技术领域

本发明涉及一种处理时间序列数据的方法和装置。

背景技术

监控系统中，核心功能组件包括：数据采集、数据保存、告警、数据展现，其中，最重要的是监控数据的保存。监控系统中的数据一般是时间序列数据，即由多个以时间为序的多个数据元组成，例如传感器每分钟采集的温度数据、计算机每小时的CPU使用平均值等。监控系统如果对时效性和准确性要求比较高，则数据采集频率一般比较高，从而得到的数据量通常很大，在这种情况下使用传统的关系型数据库效果不佳，因此目前的惯常做法是采用HBase等非关系型数据库。这些数据库对系统的硬件资源占用较大，并且一般不被所有操作系统所支持。

发明内容

有鉴于此，本发明提供一种处理时间序列数据的方法和装置，其占用较小的系统硬件资源并且便于在不同的操作系统之间移植。

为实现上述目的，根据本发明的一个方面，提供了一种处理时间序列数据的方法。

本发明的处理时间序列数据的方法包括：接收多个时间序列数据项并缓存，其中各个时间序列数据项包含以时间为序的多个数据元；当缓存的时间序列数据项的量达到预设值，或者进行缓存的时间达到预设值时，将多个缓存的时间序列数据项持久化为一个数据文件，从而得到多个数据文件；对于各个时间序列数据项，将其在所述数据文件中的位置记录在局部索引中的以该时间序列数据项的标识为标识的条目中，并且数据文件与局部索引唯一对应。

可选地，对于多个局部索引，相同标识的数据项在不同的局部索引中的位置相同；将时间序列数据项在所述数据文件中的位置记录在局部索引的条目中之后，还包括：将该条目在局部索引中的位置记录在全局索引的条目中，并且这两个条目的标识相同。

可选地，还包括：在所述数据文件中记录该数据文件中的各个时间序列数据项的长度。

可选地，所述数据文件及其对应的局部索引的文件名是建立该数据文件的时间。

根据本发明的另一方面，提供了一种处理时间序列数据的装置。

本发明的处理时间序列数据的装置包括：缓存模块，用于接收多个时间序列数据项并缓存，其中各个时间序列数据项包含以时间为序的多个数据元；持久化模块，用于当缓存的时间序列数据项量达到预设值，或者进行缓存的时间达到预设值时，将缓存的时间序列数据项持久化为一个数据文件，从而得到多个数据文件；局部索引模块，用于对于各个时间序列数据项，将其在所述数据文件中的位置记录在局部索引中的以该时间序列数据项的标识为标识的条目中，并且数据文件与局部索引唯一对应。

可选地，所述局部索引文件还用于：对于多个局部索引，将相同标识的数据项在不同的局部索引中置于相同的位置；所述装置还包括全局索引模块，用于将局部索引的条目的位置记录在全局索引的条目中，并且这两个条目的标识相同。

可选地，所述持久化模块还用于：在所述数据文件中记录该数据文件中的各个时间序列数据项的长度。

可选地，所述持久化模块还用于：以建立所述数据文件的时间为该数据文件的文件名；所述局部索引模块还用于：以数据文件的文件名作为该数据文件对应的局部索引的文件名。