[发明专利]一种大数据处理方法及系统

说明书

本发明涉及一种大数据处理方法及系统，所述处理方法包括：通过内存交换的方式从业务系统中采集数据，并将数据转换为标准格式的数据，实现数据标准化；对数据依次进行数据清洗和过滤的加工处理后，通过边缘计算的方式进行数据融合处理；对进行融合处理后的数据通过虚拟化存储的方式进行存储后封装成相应的数据服务给用户使用。本发明通过接口服务中的响应设计引擎直接将数据打包成相应的服务不需要开发专门的数据对接接口，自身也不用建立专门的数据库；通过数据加载服务的方式直接将数据封装成用户的数据体系，并可以主动将封装完成的数据直接投放给用户，不需要用户获取相应的权限后通过协议或者接口访问数据库或者服务器，提高了数据的使用率。

技术领域

本发明涉及大数据技术领域，尤其涉及一种大数据处理方法及系统。

背景技术

大数据（big data），是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。随着科技的快速发展，每天各个行业领域都有海量的数据产生，如何从这些海量的数据中提取出有用的数据并经过分析处理得到需要的结果，是现在大数据处理解决的最基本的问题。

现目前大数据处理方式大多是对采集的数据进行分类，然后对分类的数据进行分析处理后将数据存放在某个数据库或者服务器中，如果有对这些数据有需求的用户，再通过获取到数据库或者服务器的相应权限后，从中获取相应的数据；但是这种方式经过分析处理的数据只是被动的等用户来获取，而且很多时候用户也并不清楚从何处获取相应的数据，使得数据的使用效率太低；因此，如何解决该问题，是现阶段需要考虑的。

发明内容

本发明的目的在于克服现有技术的缺点，提供了一种大数据处理方法及系统，解决了现有大数据处理方式中存在的不足。

本发明的目的通过以下技术方案来实现：一种大数据处理方法，所述处理方法包括：

通过内存交换的方式从业务系统中采集数据，并将数据转换为标准格式的数据，实现数据标准化；

对数据依次进行数据清洗和过滤的加工处理后，通过边缘计算的方式进行数据融合处理；

对进行融合处理后的数据通过虚拟化存储的方式进行存储后封装成相应的数据服务给用户使用。

所述通过边缘计算的方式进行数据融合处理包括：

数据处理主节点将数据划分成多个数据块，将每个数据块中的数据传输到分布式数据节点网络中，每一个分布式数据分节点接收并处理一个数据块中的数据；

每个分布式数据分节点对接收到的数据进行分析处理后再通过分布式数据节点网络传输回数据处理主节点中。

所述对数据依次进行数据清洗和过滤的加工处理包括：

对数据清洗包括依次进行缺失值清洗、格式内容清洗、逻辑错误清洗、非需求清洗和关联性验证处理；

根据需求设置数据过滤条件，组成数据过滤网格，并对经过数据清洗后的数据通过数据过滤网格进行过滤。

所述数据服务包括数据接口服务和数据加载服务；

所述数据接口服务为通过响应设计引擎根据设计需要服务的内容、参数和响应指令通过后台生成相应的代码后打包封装成相应的服务；

所述数据加载服务为获取用户的数据体系，将数据封装成符合用户体系的数据后将数据直接投放到用户的数据接收端或者数据使用端。

其中用户的数据体系包括MySQL、Oracle、Sybase、FoxPro、BigTable、CouchDB、FileMaker和PostgreSQL等等。

一种基于大数据处理方法的系统，它包括数据采集模块、数据处理模块、数据融合模块、存储模块和封装服务模块；

所述数据采集模块用于通过内存交换的方式从业务系统中采集数据；