[发明专利]一种实时更正数据的存储与缓存读取方法

说明书

本发明涉及一种大规模实时更正数据的存储与缓存读取方法，属于计算机数据管理技术领域。本发明面向工业物联网、气象信息网中出现的一类重要的实时更正数据，数据读取以按时间维度的批量读取为主，数据量大且需要进行实时更正。本发明方法实现数据存储、数据直接读取与数据缓存读取，既能快速返回数据，又支持更正数据的实时更新，并通过缓存提升用户获取速度的时间。本发明克服了目前的分布式系统中广泛存在的大规模实时更正数据存储和读取性能无法达到要求的难题，方法直观有效、便于使用。

技术领域

本发明涉及一种实时更正数据的存储与缓存读取方法，属于计算机数据管理技术领域。

背景技术

实时数据是指从过程控制系统中实时采集的数据、向过程控制系统实时发送的数据以及对实时数据进行各种实时计算直接产生的中间数据。实时数据可来自传感器(如GPS等)、摄像头、新闻消息、卫星、雷达、股票行情、服务器日志、传统缓存或者分布式系统(如Hadoop、Spark)中的数据。实时数据具有时效性，随着时间的推移，实时数据值就会逐渐失去价值。众多行业及工作都能够从实时数据的处理方案中获得助益，例如天气预报通过实时气象数据提高预报准确率、工业设备通过实时监控数据提高健康状况等等。实时数据能够通过管理数据实时变化迅速建立起形势判断，最终将其转化为能够提升企业业绩的决策工具。

在现实生活中，对于实时数据的读取，典型的需求为按照时间维度读取。例如：中国气象局观测到全球气温的实时情况；春运期间客流群体的流向情况。对于此类需求，为加快读取速度，在存储的时候就将数据按照时间维度存储较为合适，存取的粒度较粗，可以是该时间的全量数据或部分数据。但由于观测设备或网络传输的原因，经常会发现小部分数据是错误的，需要进行及时更正。例如某些车辆的传感器出现误差，气温观测仪出现故障。因此，会有部分数据需要进行更正(通常情况下此类数据只是全量数据的一小部分)，且数据更正的时间并不相同、更正请求随时可能出现。因此，存储实时更正数据变得相当困难，既要能够支持按时间维度的全量读取，又要满足小量数据的更正。

此外，由于实时数据的全量读取数据量相当大，为了加快读取的时间，需要能够设计一种缓存读取的方式，根据用户的读取习惯，当读取当前数据的时候，提前缓存下一份数据，以提供给用户更好的存取速度和体验。

发明内容

本发明的目的是提出一种实时更正数据的存储与缓存读取方法，解决目前分布式系统中，实时更正数据的存储和读取性能无法达到多数工业级应用要求的问题。

本发明提出的实时更正数据的存储与缓存读取方法,包括以下步骤：

(1)数据存储，具体步骤如下：

(1-1)建立数据存储表T₁和更新数据存储表T₂，所述的数据存储表T₁用于存储设定时刻下的数据，数据存储表T₁以该设定时刻为主键或索引项，数据存储表T₁中相邻数据的时刻间隔为T_t，存储数据的有效时间为T_m，所述的更新数据存储表T₂用于存储对数据存储表T₁中存储的数据进行更新的信息，以数据的更新时刻t_u为主键或索引项；

(1-2)按照时刻间隔T_t，获取当前时刻t_c的待处理实时数据，将当前时刻t_c获取的待处理实时数据存成一个文件，以文件形式存放在T₁表中，同时删除数据存储表T₁和更新数据存储表T₂中数据获取时刻小于t_c-T_m的数据；

(1-3)获取更新的数据，若数据的更新时刻t_u大于t_c-T_m,则把新数据存储在更新数据存储表T₂中；