[发明专利]一种工业大数据存储方法及装置

说明书

本发明公开了一种工业大数据存储方法和装置，方法包括：建立重要数据词条表；获取工业大数据；根据重要数据词条表，对获取的工业大数据进行搜索，将符合重要数据词条表中词条的数据挑选并复制到重要数据表中；对所述工业大数据进行存储；对所述重要数据表进行存储。装置包括：工业大数据获取模块、搜索模块、存储器和处理器。通过将工业大数据中的重要数据挑选并复制进行备份。平衡了存储资源的利用与数据安全的关系。既节约了存储资源，又保证了重要数据不丢失。本发明主要用于大数据存储领域。

技术领域

本发明涉及大数据存储技术领域，特别涉及一种工业大数据存储方法及装置。

背景技术

智能制造的过程中会产生海量的工业大数据，动辄几十上百T，以目前的存储硬件结构，难以实现通过单个存储设备或存储器进行存储。现有对于工业大数据存储一般只是单纯的存储，并没有对重要的数据进行备份处理，或者将所有的数据进行备份处理。这种对数据的存储方式存在两个问题，一是如果对所有数据进行备份处理的话，则会耗费大量的存储空间和存储资源，二是如果不对数据进行备份处理的话，则容易造成重要的数据丢失。

发明内容

本发明目的在于提供一种工业大数据存储方法和装置，以解决现有技术中所存在的一个或多个技术问题，至少提供一种有益的选择或创造条件。

为解决上述技术问题所采用的技术方案：一方面，一种工业大数据存储方法，包括：建立重要数据词条表；获取工业大数据；根据重要数据词条表，对获取的工业大数据进行搜索，将符合重要数据词条表中词条的数据挑选并复制到重要数据表中；对所述工业大数据进行存储；对所述重要数据表进行存储。

通过重要数据词条表作为对工业大数据中重要数据挑选的准则和依据。根据重要数据词条表可以从获取的工业大数据中进行搜索，将符合重要数据词条表中词条的数据挑选并复制到重要数据表中。利用重要数据表将工业大数据中的重要数据进行二次存储。平衡了存储资源的利用与数据安全的关系。既节约了存储资源，又保证了重要数据不丢失。

进一步，所述工业大数据进行存储的方式为：建立数据结构模型，将工业大数据规范化为树形结构，并进行压缩处理，将压缩处理后的工业大数据进行存储。

通过将工业大数据规范化后，方便对数据进行查询，同时也可以方便对数据进行压缩。通过对工业大数据进行压缩处理，可以更加节约存储空间。

进一步，所述数据结构模型的建立方法为通过B+树建立数据结构模型。

进一步，将压缩处理后的工业大数据以分布式存储方式进行存储。

另一方面，一种工业大数据存储装置，包括：

工业大数据获取模块，用于获取工业大数据；

搜索模块，用于根据预设的重要数据词条表，对获取的工业大数据进行搜索，将符合重要数据词条表中词条的数据挑选并复制到重要数据表中；

存储器；

控制器，将工业大数据和重要数据表进行存储在存储器中。

进一步，所述存储器为分布式存储器。

本发明的有益效果：一方面，将工业大数据中的重要数据挑选并复制进行备份。平衡了存储资源的利用与数据安全的关系。既节约了存储资源，又保证了重要数据不丢失。另一方面，由于本工业大数据存储装置用于执行工业大数据存储方法，故其具有工业大数据存储方法的有益效果，这里就不重复描述了。

附图说明

下面结合附图和实施例对本发明做进一步的说明；

图1是工业大数据存储方法的步骤流程图；

图2是工业大数据存储装置的模块连接结构示意图。

具体实施方式