[发明专利]一种大数据运算过程处理系统及其方法

说明书

本发明公开了一种大数据运算过程处理系统及其方法，包括：服务端和解析端，所述服务端内还包括一个用于存储全部原始数据的存储模块，所述解析端内包括缓存模块、函数编辑模块、方言解析模块、数据实时采集模块、数据实时处理模块和执行引擎，所述缓存模块分别与函数编辑模块和方言解析模块电性连接，所述函数编辑模块和方言解析模块均与执行引擎电性连接，所述服务端与若干个解析端通讯连接，所述数据实时采集模块与数据实时处理模块电性连接，所述数据实时处理模块与缓存模块电性连接。该大数据运算过程处理系统大大降低了用户搜索信息所花费的时间，降低了处理实时数据的响应延迟，保证了用户获取数据的时效性，进而提高用户体验。

技术领域

本发明属于大数据处理技术领域，具体涉及一种大数据运算过程处理系统及其方法。

背景技术

随着互联网的发展，基于互联网的营销业务生命周期越来越短，业务发展变化越来越快，许多业务数据量以指数级增长，这都要求对大量的数据做实时处理，并要求保证数据准确可靠。

在信息爆炸的时代实时数据处理技术的成熟度直接关系到产业转型升级及发展。目前最流行的莫过于Apache的开源项目Hadoop分布式计算平台，Hadoop专注于大规模数据存储和处理。这种模型对以往的许多情形虽已足够，如系统日志分析、网页索引建立，但是在大数据实时处理方面，Hadoop的MapReduce却显得力不从心，而业务场景中需要低延迟的响应，希望在秒级别或者毫秒级别完成分析，得到响应，并希望能够随着数据量的增大而扩展。

发明内容

本发明的目的在于提供一种大数据运算过程处理方法及系统，以解决大数据在数据实时处理方面响应延迟高的问题。

为实现上述目的，本发明提供如下技术方案：一种大数据运算过程处理系统，包括：服务端、解析端和云服务器，所述服务端内还包括一个用于存储全部原始数据的存储模块，所述解析端内包括缓存模块、函数编辑模块、方言解析模块、数据实时采集模块、数据实时处理模块和执行引擎，所述缓存模块分别与函数编辑模块、方言解析模块以及数据实时处理模块电性连接，所述执行引擎分别与与函数编辑模块和方言解析模块电性连接，所述数据实时采集模块与数据实时处理模块电性连接，所述服务端至少设有一个，所述解析端共设有若干个，所述服务端与若干个解析端通讯连接，所述服务端包括若干个串联的服务器，若干个所述服务器并排设置且均为尺寸相同的长方体结构，首尾两个所述服务器的顶部分别固定有与所述存储模块电性连接的第一信号接收器和第一信号发送器，所述第一信号接收器和第一信号发送器均与云服务器通讯连接，所述解析端为正四棱柱结构，所述解析端上表面的中心处固定有液晶显示屏，所述液晶显示屏的下表面电性连接有故障预警模块，所述故障预警模块与执行引擎电性连接，所述液晶显示屏的两侧分别固定有第二信号接收器和第二信号发送器，所述第二信号接收器与数据实时采集模块电性连接，所述第二信号发送器与执行引擎电性连接，所述解析端的四周开设有散热孔，所述散热孔的外表面固定有过滤网且内表面固定有散热风机。

一种大数据运算过程处理方法，包括以下步骤：

步骤一，所述服务端在监测到有用户设备接入时，针对所述用户设备的基本信息如设备类型、IP地址在存储模块内设置相应的数据队列，并将所述用户设备上传的原始数据如用户年龄、性别、学历以及搜索的问题存储在所述数据队列中；

步骤二，所述数据队列根据所述解析端的物理地址信息创建一个用于保存所述解析端对应的用户设备数目以及各用户设备标识信息的数据列表，所述解析端均分配一个计数器，当有用户设备信息发送至该解析端时，即通过所述计数器记录所述解析端对应的用户设备数目；

步骤三，所述服务端分别确定每一个解析端对应的用户设备数目，并确定出对应的用户设备数目最多的解析端，所述服务端将原始数据发送给对应的用户设备数目最多的解析端内的缓存模块；

步骤四，对应的用户设备数目最多的解析端以缓存模块内的原始数据为基础开辟共享数据空间，利用共享数据空间与缓存模块内至少一个边缘数据处理器进行数据交互；