[发明专利]一种基于流处理技术的生产数据采集方法及系统

说明书

本发明涉及数据采集技术领域，具体涉及一种基于流处理技术的生产数据采集方法及系统，首先通过车间生产数据采集层和车间检测数据采集层采集相关数据信息，将产品相关的生产信息、检测、维修数据先进行存储，供MES系统进行读取和图形化显示，然后通过运行数据处理层对数据流进行实时处理，最后将生产车间现场状态与运行数据处理结果显示到采集数据应用层；本发明方法更适用于当前实际车间应用情况，能够在不影响实际生产的情况下，实时进行生产防错、数据采集等操作；设备采集的车间生产现场装配信息、测试信息、包装信息以及维修信息，可以直接从已有的数据系统中获取，获取方法简单，提高了本发明方法的可操作性。

技术领域

本发明涉及数据采集技术领域，具体涉及一种基于流处理技术的生产数据采集方法及系统。

背景技术

工业制造业随着中国经济发展快速崛起，其制造能力的发展直接影响国家经济发展和社会进步。由于生产车间现场环境的复杂性和产品信息的多样性，导致了企业对资源配置的不合理，造成材料浪费和经济损失。

近年来，随着传感检测技术的发展和物联网设备的普及，车间生产现场运行数据呈现“指数级”的上升，对于车间现场来讲，导致监测系统实时性低，可扩展性不高，容易出现延时甚至奔溃，数据总量和价值随时间的推移迅速增加和流失，挖掘其价值超出了传统数据处理的计算能力，无法满足对车间生产的实时监测管理需求，给现有基于生产车间现场运行数据的异常状态监测系统带来海量运行数据流实时处理、海量数据存储、数据实时可视化分析等挑战。

基于此，本发明设计了一种基于流处理技术的生产数据采集方法及系统，以解决上述问题。

发明内容

本发明的目的在于提供一种基于流处理技术的生产数据采集方法及系统，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：一种基于流处理技术的生产数据采集方法，包括以下步骤：

S1：通过车间生产数据采集层获取产品生产过程中的各种信息，实现实时的在线采集，通过车间检测数据采集层实现对车间产品的监测，为区分产品是否合格部分提供必要的参考标准，同时提供生产车间的重要组成部分的相关数据；

S2：利用车间生产数据采集层和车间检测数据采集层采集的检测数据，将产品相关的生产信息、检测、维修数据先进行存储，供MES系统进行读取和图形化显示，利用条码和图形检测技术，对产品信息自动化检索和查看，并通过视觉传感技术对产品加工过程质量进行判别，判断加工产品、包装和检测质量是否合格；

S3：通过运行数据处理层对数据流进行实时处理；

S4：将生产车间现场状态与运行数据处理结果显示到采集数据应用层。

优选的，步骤S3中的实时处理具体包括以下步骤：

步骤一：通过分布式消息队列获取运行数据流；

步骤二：通过KafkaSpout对数据进行拆分；

步骤三：结合具体的运行数据监测需求，分别定义拆分后的数据流处理的操作；

步骤四：对每类数据流进行单独处理，以得到不同处理的中间结果；

步骤五：定义中间计算结果的汇总策略，完成运行数据流处理结果的汇总和聚合；

优选的，采集数据应用层包括服务器端和网页端，用户可通过网页点击向服务器端发送请求，服务器根据不同的请求做出相应的响应，通过查询数据库并返回查询结果，来获取步骤S4中现场状态与运行数据处理结果信息。

优选的，步骤三中数据流处理的操作包括数据统计、数据异常检测、稼动率分析。

优选的，步骤五中汇总策略包括按字段分组，全局分组。