[发明专利]一种时序数据的处理方法及装置有效
| 申请号: | 202010072783.X | 申请日: | 2020-01-21 |
| 公开(公告)号: | CN111324648B | 公开(公告)日: | 2021-08-03 |
| 发明(设计)人: | 张浩;蒋伟;李闯;常雪;尤丽;王亚南;刘明春 | 申请(专利权)人: | 北京工业大数据创新中心有限公司 |
| 主分类号: | G06F16/25 | 分类号: | G06F16/25 |
| 代理公司: | 北京润捷智诚知识产权代理事务所(普通合伙) 11831 | 代理人: | 孙巍 |
| 地址: | 100090 北京*** | 国省代码: | 北京;11 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 一种 时序 数据 处理 方法 装置 | ||
本发明提供了一种时序数据的处理方法及装置,其中方法包括:获取原始格式的时序数据;根据预设映射规则和标准数据格式,对所述原始格式的时序数据进行格式转换处理,得到标准格式的时序数据;输出所述标准格式的时序数据。本发明的方案使用标准数据格式对数据进行处理,能够大大节约数据管理员处理频繁变化时序数据的工作量。
技术领域
本发明涉及计算机数据处理技术领域,尤其涉及一种时序数据的处理方法及装置。
背景技术
从各个场站采集的设备时序数据往往具有不同的格式,即不同设备或不同时间的数据,字段(也称测点、变量、列)数量和名称可能呈现较大差异.
造成这一现象的原因有很多,例如:设备型号不同;设备的各部件生产厂家不同;设备部件批次不同;设备技改升级。
现有技术中,数据处理软件普遍存在以下问题:
首先,数据格式的处理,要求算法开发者需要对原始的数据格式十分了解,导致算法开发者在这上面需要花费大量时间;
其次,由于时序数据是跨时间和设备的,数据字段的变化可能发生很多次,传统的方式如果只支持一次变化则粒度过粗,如果支持按条件修改字段名称则工作量会太大以至于算法开发者无力完成。
目前市场上没有一种数据系统是针对设备时序数据的特点,按设备和时间两个维度做数据统一化映射的,导致大规模分析这类时序数据十分困难。
发明内容
本发明提供一种时序数据的处理方法及装置,能够大大节约数据管理员处理频繁变化时序数据的工作量。
为解决上述技术问题,本发明的实施例提供一种时序数据的处理方法,包括:获取原始格式的时序数据;
根据预设映射规则和标准数据格式,对所述原始格式的时序数据进行格式转换处理,得到标准格式的时序数据;
输出所述标准格式的时序数据。
可选的,获取原始格式的时序数据,包括:
获取原始数据,对所述原始数据进行解析,得到包括字段名称和字段类型的格式的时序数据。
可选的,时序数据的处理方法,还包括:将所述时序数据存储在时序数据库中。
可选的,根据预设映射规则和标准数据格式,对所述原始格式的时序数据进行格式转换处理,得到标准格式的时序数据,包括:
按照第一映射规则以及时间信息,将所述原始数据的字段与所述标准数据格式中的字段建立对应关系,按照所述对应关系,将所述原始数据转换为基于时间维度的标准格式的时序数据;和/或
按照第二映射规则以及设备信息,将所述原始数据的字段与所述标准数据格式中的字段建立对应关系,按照所述对应关系,将所述原始数据转换为基于设备维度的标准格式的时序数据。
可选的,时序数据的处理方法还包括:对所述预设映射规则进行优化处理,得到优化后的映射规则。
可选的,对所述预设映射规则进行优化处理,包括:
按照一预设条件,对所述预设映射规则进行创建、修改和删除处理,得到优化后的映射规则。
可选的,输出所述标准格式的时序数据,包括:以可视化的形式,输出所述标准格式的时序数据至一显示界面上。
本发明的实施例还提供一种时序数据的处理装置,包括:
获取模块,用于获取原始格式的时序数据;
处理模块,用于根据预设映射规则,对所述原始格式的时序数据进行格式转换处理,得到标准格式的时序数据;
输出模块,用于输出所述标准格式的时序数据。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京工业大数据创新中心有限公司,未经北京工业大数据创新中心有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010072783.X/2.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置





