[发明专利]铝/铜板带材生产全流程大数据清洗与分析方法

说明书

本发明涉及一种铝/铜板带材生产全流程大数据清洗与分析方法，包括构建适用于铝/铜板带材全流程大数据的质量问题检测方法和按照符合数据特点和工艺背景进行数据清洗；完成建立面向铝/铜板带材全流程大数据的分布式计算分析算法工具库。本发明通过设计面向铝/铜板带材生产全流程大数据清洗与分析方法，为铝/铜板带材生产全流程大数据的挖掘利用提供了方向，提高铝/铜板带材生产全流程大数据的利用率。

技术领域

本发明涉及大数据和数据挖掘领域，尤其涉及一种铝/铜板带材生产全流程大数据清洗与分析方法。

背景技术

铝/铜板带材生产全流程工业大数据多源异构、数据不精确、查询困难，对生产全流程数据的数据清洗及分析提出了极高的要求。随着机器学习、大数据等理论的蓬勃发展，不少学者结合机器学习和大数据技术实现数据驱动技术对工业生产过程数据分析与优化进行了一系列研究，并取得了一定进展。利用工业过程数据对生产过程中的各个关键参数进行关系模型的构建，不仅加快了建模速度，还避免了传统机理建模复杂的问题。基于数据驱动的建模方法不需要对生产机理有过多的了解，他将生产过程转化为一些了机器学习模型，进而能够较大程度地减少建模时间。此外，由于数据驱动的建模与优化方法是以数据为出发点，因此，可以避免由于缺少专业知识而产生的建模错误的问题，也有可能为专业人员带来新的发现。技术数据驱动的工业过程建模与优化方法为工业过程分析提供了新方法。因此对铝/铜板带材生产全流程大数据的清洗与分析，有着重大和深远的意义。

在采集铝/铜板带材厂生产的大量数据时，数据导入和检索工作往往会占用技术人员的大量时间和精力，为相关技术人员带来巨大工作负担。同时由于生产、数据传输、人工处理等过程难免会收到噪声的干扰，因此，采集到的数据中往往参杂了大量的干扰甚至错误信息，产生了大量的“脏数据”，如错误数据、缺失数据和重复数据等；并且历史数据中包含大量的缺失值，异常值和重复值等，数据信息价值不高；针对铝/铜板带材全流程生产过程工艺建立传统机理建模十分复杂并且由于缺少专业知识而常常产生建模错误问题；铝/铜板带材厂的全流程生产专业性强，数据质量问题繁杂，缺乏专业定制的数据清洗与分析方法。

发明内容

针对上述问题，本发明的目的在于提供一种铝/铜板带材生产全流程大数据清洗与分析方法，可有效解决数据不齐、存在多元异常等问题。

本发明采用的技术方案如下：

本发明所提出的铝/铜板带材生产全流程大数据清洗与分析方法，包括以下步骤：

S1：构建适用于铝/铜板带材全流程大数据的清洗系统，按照符合铝/铜板带材生产全流程数据的特点和工艺的背景进行数据清洗；

S2：完成建立面向铝/铜板带材全流程大数据的分布式计算分析算法工具库，构建生产过程中的关系模型，实现对工艺参数与合金成分的优化。

进一步的，所述步骤S1中的具体过程如下：

(1.1)分析铝/铜板带材的全流程大数据质量问题，针对铝/铜板带材生产全流程生产加工特点，分析总结出现数据质量问题的环节；

所述数据质量问题包括：设备性能限制导致的数据缺失或错误；人员操作失误导致的数据缺失或错误；

(1.2)分析数据质量问题并设计对应的处理方案，所述处理方案包括

单一值处理：针对单一值进行特定处理，若某列中的值全为单一值，则采用列删除的方式将该列删除，并将结果保存；若单一值列中缺少个别数据，则对其进行行删除操作，或采用单一值填充的方式对单一值列进行数据补全；

缺失值处理：数据缺失值处理包括行删除和数据补全；

异常值处理：异常值处理包括行删除和数据替换；