[发明专利]一种基于能源审计的数据采集方法

摘要

本发明公开了一种基于能源审计的数据采集方法，第一步，建立采集系统，第二步，前端数据采集，第三步，前端数据传输，第四步，前端数据重组，前端服务器读取数据缓存器内的数据，并将断点前数据片段、数据缓存器内数据片段和恢复数据链路后数据片段根据时间顺序进行重组，形成行的数据集合；并对其进行存储；第五步，采集数据进行大数据处理，前端服务器将采集的数据进行整合后，送到Hadoop海量数据存储与并行计算平台；进行分布式存储和计算结果收集；并将结果与数据立方进行通信；本发明提出了一种基于能源审计的数据采集方法，采用直传和临时分配空间存储后传输，系统容错率好，采集数据通过大数据云计算技术进行并行运算和处理。

主权项

1.一种基于能源审计的数据采集方法，其特征在于，所述方法具体如下：第一步，建立采集系统，所述系统包括多个同类能源或异类能源的数据前端；每一所述数据前端包括多个不同或相同类型的数据采集器，每一所述数据采集器通过数据选择开关连接到前端服务器；所述数据采集器和前端服务器之间设置有数据请求链路；所述数据选择开关另一输出端通过临时存储器接入到矩阵开关的行接口；所述矩阵开关其列接口连接到存储阵列；所述矩阵开关地址位、使能位和初始位均连接到开关控制器；所述开关控制器与前端服务器之间设置有数据绑定及释放通信链路；所述开关控制器与采集器之间设置有开关请求链路；所述存储阵列包括多个缓存控制器，每一所述缓存控制器至少通信连接有一缓存；所述缓存分别与矩阵开关其列接口、数据临时存储器和备份存储器通信连接；所述缓存控制器和前端服务器通信连接；所述前端服务器与缓存之间设置有数据读取链路；所述前端服务器通信连接Hadoop海量数据存储与并行计算平台；第二步，前端数据采集，通过多个不同或相同类型的数据采集器，实时获取不同类型的数据，数据通过前端录入和传感器采集获得；传感器采集时，其通过各类型传感器进行检测和转换为识别信号，并通过数据采集器对识别信号进行处理，得到后续审计能够识别的数据片段；第三步，前端数据传输，通过数据采集器获得数据片段，数据采集器通过数据请求链路向前端服务器问询，收到发送数据请求后，其通过数据选择开关将数据片段发送到前端服务器；前端服务器每收到一数据串停止位后，即向数据采集器发送一接收完毕信号，接着发送下一数据串；当数据采集器没有收到发送数据请求或没有收到返回的接收完毕信号时，数据采集器将数据选择开关进行切换；切换后，数据采集器定时向数据请求链路向前端服务器问询，数据采集器通过开关请求链路向开关控制器请求开关数据，矩阵开关进行内部开关切换，将数据采集器与存储阵列某一缓存进行通信，采集终端将数据片段通过临时存储器送至缓存中，数据片段发送起始位为未收到发送数据请求的数据节点或没有收到返回接收完毕信号的前一数据串；开关控制器将对应的数据采集器和缓存进行绑定，并将绑定信息送至前端服务器；数据送至缓存后，数据同步送到数据临时存储器和备份存储器进行备份；缓存控制器向前端服务器问询，前端服务器通过查询与缓存绑定的数据采集器，确定是否接收信息，缓存控制器收到发送数据请求后，其将缓存内的数据片段直接送到前端控制器，没有收到请求，则其进行完成存储，并定时向缓存控制器收到发送数据请求，直到其读取缓存数据片段，读取数据片段后，前端服务器分别给缓存控制器信号，其对缓存、数据临时存储器和备份存储器进行清空，并给开关控制器信号，对数据采集器和缓存进行解绑，完成解绑的列接口送到可用列表，得到下次绑定调用；当数据采集器重新获得发送数据请求时，其直接将数据链路开关回切，实时将数据送到模块服务器。第四步，前端数据重组，前端服务器读取数据缓存器内的数据，并将断点前数据片段、数据缓存器内数据片段和恢复数据链路后数据片段根据时间顺序进行重组，形成行的数据集合；并对其进行存储。第五步，采集数据进行大数据处理，前端服务器将采集的数据进行整合后，送到Hadoop海量数据存储与并行计算平台；进行分布式存储和计算结果收集；并将结果与数据立方进行通信；数据立方根据应用层需求，从庞杂的能源数据中挖掘出有用的信息并进行快捷、高效处理，同时支持数据仓库存储和数据智能分析，检索时，对任意多关键字实时索引，支持SQL复杂并行组合查询。