[发明专利]工业大数据云平台数据处理方法及系统

说明书

本发明提供一种工业大数据云平台数据处理方法，包括：接收若干种数据源的工业数据；将所述工业数据转换为数据库原语并进行存储；将所述数据库原语进行计算处理形成分析样本数据；将所述分析样本数据进行数据分析挖掘形成结果数据并进行存储；将所述分析结果数据进行可视化。本发明的工业大数据云平台数据处理方法通过收集多种工业数据，并多种工业数据转换为数据库原语进行存储，随后通过计算和分析，挖掘工业大数据的价值和信息，改善了工业大数据底层设备和技术不统一，数据孤岛现象和数据质量问题。

技术领域

本发明涉及工业大数据技术领域，尤其涉及一种工业大数据云平台数据处理方法及系统。

背景技术

我国目前的工业生产过程中积累了体量非常庞大的数据，这些数据往往潜藏着许多非常具有价值的知识信息，被视成一种重要的战略资源，为工业企业创造了巨大财富。如何应用好这些工业大数据成为一个关键性的问题，其对于企业未来的发展至关重要。对于工业大数据技术的应用在数据的采集环节、预处理环节以及数据挖掘分析环节依然存在问题，对于大多数企业而言，大数据技术不明确，底层设备和技术不统一，存在比较严重的数据孤岛现象和数据质量问题。

发明内容

本发明提供的工业大数据云平台数据处理方法及系统，能够将工业数据统一处理并进行挖掘。

本发明提供一种工业大数据云平台数据处理方法，包括：

接收若干种数据源的工业数据；

将所述工业数据转换为数据库原语并进行存储；

将所述数据库原语进行计算处理形成分析样本数据；

将所述分析样本数据进行数据分析挖掘形成结果数据并进行存储；

将所述分析结果数据进行可视化。

可选地，将所述工业数据转换为数据库原语进行存储包括：

将多种格式的所述工业数据的文件转换为大数据Hadoop可识别的数据格式的文件；

将所述大数据Hadoop可识别的数据格式的文件构建数据库转换为数据库原语。

可选地，将所述工业数据转换为数据库原语进行存储包括：

将多种格式的所述工业数据的文件存储在大数据Hadoop平台；

将所述多种格式的所述工业数据的文件转换为对应的计算任务；

采用编程语言编写用于执行所述计算任务语言指令形成数据库原语。

可选地，将所述分析样本数据进行数据分析挖掘包括：

从所述分析样本数据中选取训练数据并进行预处理形成训练样本集；

将所述训练样本集输入待训练分析模型对所述待训练分析模型进行训练形成待测试分析模型；训练过程在Spark的核心引擎执行；

从所述分析样本数据中选取测试数据测试样本集；

将所述测试样本集输入所述待测试分析模型并获取测试结果，当所述测试结果不符合要求时，将当前待测试分析模型作为待训练分析模型进行训练；当所述测试结果符合要求时，将所述待测试分析模型保存为最终分析模型；

采用最终分析模型对所述分析样本数据进行分析并获取分析结果。

可选地，对所述待训练分析模型进行训练包括：

建立神经网络模型；

对所述神经网络模型进行初始化，并指定训练过程中的误差阈值及误差率函数；

将所述训练样本集输入所述神经元网络模型并获得输出值；