[发明专利]建立在处理数据的快速加载装置

说明书

技术领域

本发明涉及一种大数据加载系统，具体涉及建立在处理数据的快速加载装置。

背景技术

大数据，或称巨量资料，指的是需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》中大数据指不用随机分析法这样的捷径，而采用所有数据进行分析处理。大数据的4V特点：Volume、Velocity、Variety、Value。大数据处理中，常常需要一次性保存几十万、上百万条数据，一般SQL批处理语句是无法处理这样的数据量。所以大多数方案是将数据保存到文件，利用数据库提供的批处理命令将文件加载到数据库中。现有的加载方式会出现效率低，耗时长，因为现有方案需要将数据从ETL系统中保存到文件，再通过数据库引擎读取文件，两次额外的文件读写操作，硬盘的数据存取速度远远比内存慢很多，所以现有方案效率更低、耗时更长。并且增加系统的复杂度，因为现有方案会取决于磁盘剩余空间的容量，如果磁盘剩余空间不足，会导致写文件的时候失败。

发明内容

本发明所要解决的技术问题是磁盘剩余空间不足，会导致写文件的时候失败，目的在于提供建立在处理数据的快速加载装置，解决磁盘剩余空间不足，会导致写文件的时候失败的问题。

本发明通过下述技术方案实现：

建立在处理数据的快速加载装置，包括文件，还包括ETL模块；所述ETL模块：读取文件中的数据，将数据从来源端经过抽取、转换、加载发送至数据转换模块；所述数据转换模块：接收ETL模块发送的加载数据，通过AD转换，发送特征值信息到大数据处理单元；所述大数据处理单元：接收数据转换模块的特征值信息，通过对比单元模块对比，得出差异化特征值；所述对比单元模块：将大数据处理单元接收的特征值信息和数据库存储模块的原始值对比，得到差异化特征值，并发送至数据储存模块更新；所述数据库存储模块：为对比单元模块提供原始对比数据，每接收一次差异化特征值更新数据库本身；并为收发单元模块提供数据；所述收发单元模块：从数据库存储模块提取特征值数据发送至输入流模块；所述输入流模块：接收收发单元模块发送的特征值数据，发送至图像数据显示模块；所述图表数据显示模块：接收输入流模块发送的特征值数据和数据转换模块发送的特征值信息；所述图表数据显示模块：通过显示屏显示所接收的信息；所述显示屏：连接数据显示模块，并显示数据。现有的加载方式会出现效率低，耗时长，因为现有方案需要将数据从ETL系统中保存到文件，再通过数据库引擎读取文件，两次额外的文件读写操作，硬盘的数据存取速度远远比内存慢很多，所以现有方案效率更低、耗时更长。并且增加系统的复杂度，因为现有方案会取决于磁盘剩余空间的容量，如果磁盘剩余空间不足，会导致写文件的时候失败，本发明建立在处理数据的快速加载装置，利用数据库系统提供的批处理命令，通过对比单元模块，剔除重复数据，将差异化特征信息再次存储，没接收一次就更新一次，这样避免了传统的每次处理数据都需要读取，占用内存太多，而且这个数据可以通过输入流模块直接输出，节约了内存提高了速度。数据可以从屏幕输入的特性，将内存中的数据按照一定的格式生成字节流，将字节流作为数据库命令的输入流，将清洗、抽取、转换后的数据直接通过内存写入数据库中。减少了额外的文件IO操作，同样的数据量，采用本方案可以提升处理速度10倍以上。

所述数据转换模块：采用RS485输入数据输出方式：-MODBUS RTU/ASCII-以太网TCP/IP两种总线输出方式并行，相互间不影响。可传输特征值，模块波形数据，以及模块状态和报警状态等物理量。

所述收发单元模块：将提取到的特征值数据转换成标准TCP/IP协议，可通过以太网RJ45接口输出。这些数据可以被与之相连的振动分析系统或DCS、DEH等系统访问并调用显示。

所述数据库存储模块采用SDHC。所述SDHC主要特征在于文件格式从以前的FAT12、FAT16提升到了FAT32，而且最高支持32GB

本发明与现有技术相比，具有如下的优点和有益效果：

1、本发明建立在处理数据的快速加载装置，利用数据库系统提供的批处理命令，数据可以从屏幕输入的特性，将内存中的数据按照一定的格式生成字节流，将字节流作为数据库命令的输入流，将清洗、抽取、转换后的数据直接通过内存写入数据库中。减少了额外的文件IO操作，同样的数据量，采用本方案可以提升处理速度10倍以上；