[发明专利]一种工业海量非结构化数据处理方法及系统

说明书

本发明提供一种工业海量非结构化数据处理方法及系统，包括获取生产中产生的非结构化数据；将所述非结构化数据转化为结构化数据；构建生成器函数，按照生成器函数所建立的筛选条件，对所述结构化数据进行清洗，筛选出有效值，从筛选出的所有时间段和与该时间段对应有效值中分别提取时间和有效值、建立并展示筛选后的时间和有效值之间的关系曲线。本发明将海量的非结构化数据转化为结构化数据，简化了数据处理；实现极短的时间内一次性将百万条数据的趋势曲线进行绘制；将数据可视化成图像更方便生产管理及运维。

技术领域

本技术发明属于工业生产数据统计分析领域，具体涉及一种工业海量非结 构化数据处理方法及系统。

背景技术

随着工业的迅猛发展，在面向大型设备的企业信息化过程中，越来越多的 数据采集被用到了工业生产中，进而捕获了大量的工业监测数据。由于绝大部 分监测数据由传感器产生，多为时序数据为主，这些数据通常具有数据量大， 易丢失、具有高度的领域相关性等特点，同时也以一种非结构化的形式存在。

近年，云计算技术的快速普及以及物联网、移动互联网应用程序的大规模 爆发，人类已经全面进入到“大数据”时代，各个行业和领域都在致力于研究 如何利用大数据分析来优化流程，监测发展趋势，从而更好地做出决策。借助 于云计算的处理与应用模式，通过数据相关分析法，可以实现智慧预测和价值 服务。大数据已经成为各行业的重要资产，数据分析能力正在成为核心竞争力。

现有技术中，为记录生产环境中的工作状态信息，设备上装置有传感部件， 用于捕获生产中的环境信息，捕获到的信息多以log信息存储在设备中。生产 中有数据采集设备，也可以捕获数据信息，但无法存储为结构化数据。这种方 式存在当读取生产中的监控信息时，需要人工查看log文件，比较消耗人力和 时间，且效率较低的问题。在此基础上，提出了在生产环境中，为捕获生产中 的状态信息，采用较为先进的捕获设备，并为捕获设备配备专用的存储设备， 用于存储捕获到的信息数据。并能将捕获的信息在显示设备上实时显示出来。 这种方式在实际实施时需设置数据采集设备需要捕获的信息类型；设置数据采集设备捕获后的信息存放的地址信息；设置数据采集信息显示的设备类型及显 示区域；用曲线将所有时间单元内的趋势点按照时间先后顺序连接形成趋势图。 但简单的进行时间分段取极值，当数据量较大时，比如需要显示几个月甚至更 长时间数据时，筛选出来的极值点较多，影响绘图速度，同时，绘制的曲线会 丢失局部的特征值，该特征值即不是极大值，也不是极小值，但是会影响到曲 线的走势，是不可以忽略的。

工业领域，企业生产的数据有多种来源，且分布于多个独立的系统，各数 据源的数据彼此孤立。对于企业基于数据的决策分析者来说，难以利用企业拥 有的全部数据资源实现企业的生产优化、经营管理的优化等。因此，为了监控 系统的即时与历史运行状态，保存企业生产的海量数据，为企业制造及流程的 优化提供信息支撑，所以急需寻求一种工业海量非结构化数据处理方法及系统， 将海量的非结构化数据转化为结构化数据，数据存储，再用于生产的管理及运 营中简化数据处理并将数据可视化成图像更方便生产管理及运维。

发明内容

本发明针对现有技术中所存在的工业监控数据尤其是采集频率较高、周期 较长的数据非结构化的问题，提供了一种将海量的非结构化数据转化为结构化 数据的工业海量非结构化数据处理方法及系统。

本发明就上述技术问题而提出的技术方案如下：一种工业海量非结构化数 据处理方法，包括：获取生产中产生的非结构化数据；将所述非结构化数据转 化为结构化数据；提取所述结构化数据，构建生成器函数，按照生成器函数所 建立的筛选条件，对所述结构化数据进行清洗，筛选出有效值，从筛选出的所 有时间段和与该时间段对应有效值中分别提取时间和有效值，建立并展示筛选 后的时间和有效值之间的关系曲线。