[发明专利]一种设备数据优选与融合方法

说明书

本发明公开了一种设备数据优选与融合方法，首先通过采集设备自动采集的监测数据，进行拟合去重，均值插补、过滤，后进行质量判断，包括错误可疑判断、设备失真判断、水位突跳、数据审查修正，最后将设备数据分主备入库。应用本发明方法可以解决上层统计分析因数据监测周期异常变化或数据时间轴不连续而造成的统计不精确的问题、上层统计分析因数据时间轴不连续而造成统计不精确的问题和上层统计分析因数据重复、质量不佳造成的无法统计或统计不精确的问题。

技术领域

本发明涉及数据采集和融合技术领域，尤其涉及一种设备数据优选与融合方法。

背景技术

随着大数据技术的发展，基层数据采集也在不断推进自动化转型，以自动化设备采集数据逐步替代传统的人工采集，很大程度上增强了数据采集的时效性、实时性和稳定性。但是，自动化的采集仍然存在一些风险，例如在水文领域中，设备数据的上传基于网络环境，网络环境的不稳定可能会导致数据无法上传，或者采集设备由于一些不可抗力因素导致的设备故障，产生了数据偏差或者无法采集等，这些因素都会导致无法及时获取完整准确的数据。

针对此类问题，目前现有的方案是增加采集设备、人工采集、人工审核。增加采集设备就是对同一个测站添加多个设备同时监测，分摊风险；人工采集就是人工实地采集数据；人工审核则是对上传的数据进行人工核实。但即便是增加监测设备、监测方式，仍然有概率存在某些测站的数据异常或缺失，且人工采集有其局限性，不仅费人力，采集到的数据时效性也远不如自动设备采集，对于一些特殊地势，也很难做到人工采集。同时此类方案会导致同一个测站同一监测时间存在多条重复数据，而不同监测方式、数据来源基于各自的特性优势的数据质量层次不齐，随意入库会影响数据质量，造成统计分析的不准确。面对海量的数据，仅仅靠人工审核来把控数据质量是不够准确，也是不现实的。

基于上述问题，我们需要的是一种在分布式环境下多种数据来源实时数据采集融合的技术，最终得到实时、稳定、完整、准确的数据。

发明内容

本发明目的在于针对现有技术的不足，提出一种在分布式环境下多种数据来源的实时数据采集优选与融合方法，解决现有基层数据采集方法存在数据偏差和极端条件下无法获取完整数据等问题。

本发明的目的是通过以下技术方案来实现的：一种设备数据优选与融合方法，该方法具体步骤如下：

S1：通过采集设备自动采集监测数据，其中数据包含累计数据和瞬时数据两种，对监测数据进行拟合去重，得到符合监测周期的规律的数据，具体为：将不规律的数据监测时间拟合到规律的某一监测周期的数据时间上，再根据主键进行去重；

S2:将步骤S1中拟合去重后的累计数据进行均值插补，将采集设备采集到的每条实时数据与融合库里同一测站设备同一监测频率的最新数据比较，对于时间差大于某一时间阈值T的实时数据，则对缺失的每个时间阈值T进行均值补齐。计算方式为：

N＝(TM2-TM1)/T

P＝(P2-P1)/N

式中，P2、TM2为当前采集的实时累计数据和时间，P1、TM1为当前融合库里最新的累计数据和时间，N为需要均值插补的数据条数，P为均值插补的时间阈值T内的累计数据。插补的时间点为TM1到TM2之间的每个时间阈值T的时间点(前开后闭)；

S3:对步骤S2均值插补后的数据进行过滤，将每条数据与融合库里已有数据进行对比，若已存在则判定重复并抛弃；对于延迟上传的数据则进行设备优先级匹配后做相应处理，具体为：延迟上传的数据是由主用设备上传的则进入步骤S4，由备用设备上传的则进入备用设备临时表；

S4:对步骤S3中过滤后的数据进行质量判定，具体包括：