[发明专利]一种基于多源异构数据处理的工业大数据分析系统

说明书

本发明涉及一种基于多源异构数据处理的工业大数据分析系统，其特征在于，包括，数据采集模块、数据加密模块、数据接收模块、数据存储模块以及数据分析模块；数据采集模块，用以采集工业生产的数据信息；数据加密模块，用以将采集的数据信息进行加密传输；数据接收模块，用以接收经过加密的数据信息，数据存储模块，用以存储经过数据接收模块处理的数据信息；数据分析模块，构建人工智能模型对数据存储模块存储的数据信息进行分析以得到工业生产过程中的预警预测信息、问题信息以及生产能力信息，通过本发明可以更加有效的对工业数据进行分析以使得到的预警预测信息、问题信息以及生产能力信息更加准确，进一步地提升了系统的分析能力。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种基于多源异构数据处理的工业大数据分析系统。

背景技术

随着信息技术快速发展，各行业大力推动信息化建设。经过几年发展，企业内部先后建成了各类特定业务相关的信息化系统。由于建设上的多样性，例如实现技术多样性、存储设备不同、数据存储方式多样性等导致存储大量异构。业务相关数据具有以下特点：数据异构型，包括结构化和非结构化；数据多态性，静态数据和动态数据；数据离散型，数据分布在不同的系统中；数据量大，每天都有新数据产生。

目前基于工业数据的分析和应用集中在对数据的统计、分析，采用的方法也是比较基础的统计分析方法，比如计算均值、中位数等，将这些结果进行业务决策参考，现有的工业大数据分析系统中的数据清洗方式为，将获取到的数据首先统一发送到服务器端，再经过繁重的程序编码工作，由服务器端根据预设的数据清洗规则对不同类型的数据进行清洗，这种数据清洗方式效率低下，增加了数据清洗的难度。

发明内容

为此，本发明提供一种基于多源异构数据处理的工业大数据分析系统，用以克服现有技术中数据清洗方式效率低下，增加了数据清洗的难度的问题。

为实现上述目的，本发明提供一种基于多源异构数据处理的工业大数据分析系统，包括，

数据采集模块，用以采集工业生产的数据信息；

数据加密模块，其与所述数据采集模块相连，用以将采集的数据信息进行加密传输；

数据接收模块，其与所述数据加密模块相连，用以接收经过加密的数据信息，数据接收模块包括用以对接收的数据进行清洗的数据清洗单元和用以对清洗后的数据进行分类的数据分类单元；

数据存储模块，其与所述数据接收模块相连，用以存储经过数据接收模块处理的数据信息；

数据分析模块，其与所述数据存储模块相连，用以构建人工智能模型对数据存储模块存储的数据信息进行分析以得到工业生产过程中的预警预测信息、问题信息以及生产能力信息；

所述数据分析模块在进行数据分析时，所述数据清洗单元获取工业数据信息、将数据信息数量记为Wi并将第i条数据信息字符长度记为Li，其中，i为正整数，所述数据清洗单元预设有标准数据信息字符长度L，在进行数据清洗时，所述数据清洗单元依次将各条数据信息长度与标准数据信息字符长度L作比对并根据比对结果删除数据信息冗长的数据和数据信息简短的数据；

所述数据清洗单元还设置有标准关键词字符长度N0，在依次对各条数据信息进行数据清洗时，所述数据清洗单元将第i条数据信息字符长度Li与标准关键词字符长度N0作比对，若Li＜N0，所述数据清洗单元判定该条数据信息内不含有关键词信息，若Li≥N0，所述数据清洗单元判定该条数据信息内含有关键词信息，比对完成后，所述数据清理单元删除不含有关键词的数据信息。

进一步地，所述数据清洗单元预设有标准数据信息字符长度L，包括，第一标准数据信息字符长度L1和第二标准数据信息字符长度L2，在进行数据清洗时，所述数据清洗单元将每条数据信息字符长度Li与标准数据信息字符长度L作比对，其中L1＜L2；

当Li＜L1时，所述数据清洗单元判定该数据信息字符长度简短并对该数据信息进行删除；

当L1≤Li≤L2时，所述数据清洗单元判定该数据信息长度符合标准；