[发明专利]时序数据存储的方法及终端设备有效
申请号: | 201911154327.3 | 申请日: | 2019-11-22 |
公开(公告)号: | CN111046038B | 公开(公告)日: | 2023-02-28 |
发明(设计)人: | 王彬;马桂旭;陈哲平;傅克文 | 申请(专利权)人: | 厦门科灿信息技术有限公司;科华恒盛股份有限公司 |
主分类号: | G06F16/22 | 分类号: | G06F16/22;G06F16/28 |
代理公司: | 石家庄国为知识产权事务所 13120 | 代理人: | 付晓娣 |
地址: | 361000 福建省厦门市自由贸易试验*** | 国省代码: | 福建;35 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 时序 数据 存储 方法 终端设备 | ||
本发明适用于数据处理技术领域,提供了一种时序数据存储的方法及终端设备,该方法包括:采集所有传感器的测点数据,并获取所述测点数据对应的时间戳;将所述测点数据按预设规则划分为不同的类别,将不同类型的测点数据以及所述测点数据对应的时间戳分别存储到环形数据库中对应的数据库文件中,每个数据库文件存储对应类别的测点数据以及对应的时间戳,从而可以使得数据库占用的存储空间固定,不会随着时间的增长而增长。
技术领域
本发明属于数据处理技术领域,尤其涉及一种时序数据存储的方法及终端设备。
背景技术
通常对不同传感器的成千上万的数据进行收集后,将获得的大量数据采用关系型数据库进行存储。传统关系性数据库,数据以行和列的形式进行存放,行与行之间使用主键进行区分,不同表之间的数据还可以建立逻辑关键。例如,将所有传感器的不同测点数据以列的方式进行保存,时间轴则是以行的方式插入。但是伴随着数据基数的增长,数据占用的存储空间也在不断的增长,并且每次在关系型数据库中插入数据时都会更新传感器所有测点的数据,导致存储空间迅速飙升以及磁盘写入的时间也比较久。
发明内容
有鉴于此,本发明实施例提供了一种时序数据存储的方法及终端设备,以解决现有技术中存储数据时会导致存储空间迅速飙升以及磁盘写入的时间也比较久的问题。
本发明实施例的第一方面提供了一种时序数据存储的方法,包括:
采集所有传感器的测点数据,并获取所述测点数据对应的时间戳;
将所述测点数据按预设规则划分为不同的类别,将不同类型的测点数据以及所述测点数据对应的时间戳分别存储到环形数据库中对应的数据库文件中,每个数据库文件存储对应类别的测点数据以及对应的时间戳。
在一实施例中,在所述采集所有传感器的测点数据之前,还包括:
在首次进行测点数据存储之前,根据测点数据的存储周期以及总存储时间,将环形数据库的存储空间划分为固定数量的存储空间,不同的存储空间存储不同的数据库文件。
在一实施例中,在所述将所述测点数据按预设规则划分为不同的类别之后,还包括:
建立分类查询表,所述分类查询表中包括多条记录,每条记录包括测点数据类别以及对应的数据库文件。
在一实施例中,所述采集所有传感器的测点数据,包括:
根据待采集测点数据的不同类别,采用不同的采样频率采集传感器的测点数据。
在一实施例中,所述将不同类型的测点数据以及所述测点数据对应的时间戳分别存储到环形数据库中对应的数据库文件中,包括:
采用内存映射方式,将所述不同类型的测点数据以及所述测点数据对应的时间戳中待处理数据加载到内存二维矩阵空间中;
在预设时间将所述内存二维矩阵空间中存储的数据转存至磁盘中环形数据库中对应的数据库文件中。
在一实施例中,所述二维矩阵空间以行为时间轴、列为传感器的不同测点数据的形式存储所述待处理数据。
在一实施例中,在所述将不同类型的测点数据以及所述测点数据对应的时间戳分别存储到环形数据库中对应的数据库文件中之前,还包括:
根据所述环形数据库中存储的时间戳建立索引,并根据所述时间戳建立时序;
所述将不同类型的测点数据以及所述测点数据对应的时间戳分别存储到环形数据库中对应的数据库文件中,包括:
根据建立的索引,将对应的时序以及对应的测点数据存储到环形数据库中对应的数据库文件中;
根据上述存储方式将剩余测点数据以及对应的时间戳分别存储到环形数据库中对应的数据库文件中;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于厦门科灿信息技术有限公司;科华恒盛股份有限公司,未经厦门科灿信息技术有限公司;科华恒盛股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201911154327.3/2.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置