[发明专利]铝/铜板带材生产全流程大数据存储方法

说明书

本发明涉及一种铝/铜板带材生产全流程大数据存储方法，包括针对铝/铜板带材生产全流程数据进行梳理分类，整理出不同结构和不同类型的数据；根据梳理的不同类型的数据，设计不同的存储方式和适用于铝/铜板带材生产全流程多源异构数据的数据库表结构，快速存取不同结构的数据；根据设计出的存储方式和数据库表结构，构建存储集群，实现针对铝/铜板带材生产全流程多源异构数据特点的分布式存储功能等步骤。本发明解决了铝/铜板带材数据量大、数据复杂难以存储以及存储效率低等问题，实现对铝/铜板带材各类型数据的高效存取，便于后对铝/铜板带材数据的使用分析。

技术领域

本发明涉及大数据和数据存储技术领域，尤其涉及一种铝/铜板带材生产全流程大数据存储方法。

背景技术

近年来，信息技术迅猛发展，随着大数据技术的发展，需要处理分析的数据集的大小已经远远超过了单台计算机的存储能力，因此需要将数据集进行分区并存储到若干台独立的计算机中。分布式存储技术在整个大数据生态中，扮演着承上启下的重要作用。铝/铜板带材厂积累了大量的生产数据，但是铝/铜板带材大数据具有多源异构、质量遗传、数据不精确、时空关系复杂、实时性要求高的特点，这些特点为大数据的存储与处理带来了巨大困难。随着数据量的增大，单纯的关系型数据库无法满足生产中的需求，对以后的数据处理与分析带来了不便。因此利用分布式的大数据存储技术，对铝/铜板带材生产全流程数据进行高效、安全存储有着重大和深远的意义。

发明内容

针对上述问题，本发明的目的在于提供一种铝/铜板带材生产全流程大数据存储方法，可有效存储生产全流程的结构化数据、半结构化数据以及非结构化数据，提供一整套数据存储及管理系统，实现对各类型数据的高效存取，并确保数据的安全。

本发明采用的技术方案如下：

本发明所提出的铝/铜板带材生产全流程大数据存储方法，包括以下步骤：

S1：针对铝/铜板带材生产全流程数据进行梳理分类，整理出不同结构和不同类型的数据；

S2：根据S1梳理的不同类型的数据，设计不同的存储方式和适用于铝/铜板带材生产全流程多源异构数据的数据库表结构，快速存取不同结构的数据；

S3：根据S2设计出的存储方式和数据库表结构，构建集群存储，实现针对铝/铜板带材生产全流程多源异构数据特点的分布式存储功能。

进一步的，所述步骤S1的具体过程如下：

(1.1)根据铝/铜板带材生产全流程工业大数据平台的数据结构，将铝/铜板带材生产全流程数据分为结构化数据、半结构化数据和非结构化数据；

(1.2)根据铝/铜板带材生产全流程的数据类型，将数据分为设备运行数据、工艺过程数据、管理信息数据、自然环境数据、质量检测数据、用于数据查询和索引的检索性数据、字段翻译数据、和加工过程中产生的各类文件数据；

(1.3)将铝/铜板带材工艺过程中的用于数据查询和索引的检索性数据以及字段翻译数据归为结构化数据；将铝/铜板带材生产过程中产生的设备运行数据、工艺过程数据、管理信息数据、自然环境数据和质量检测数据归为半结构化数据；将铝/铜板带材生产加工过程中产生的各类文件数据归为非结构化数据。

进一步的，所述步骤S2的具体过程如下：

(2.1)针对铝/铜板带材的结构化数据，将铝/铜板带材生产全流程中的生产设备、报文号、产品ID、时间等索引字段和字段翻译数据存储在MySQL中，且表结构选择符合第一范式的二维表形式，其中索引表存储的字段名为对应相应的索引字段，字段翻译表的字段分别为英文字段和中文字段；