[发明专利]一种解决大数据平台数据冲击的系统和方法

说明书

一种解决大数据平台数据冲击的系统，包括：API接口模块、冲突解决模块、大数据平台，其中：API接口模块，与冲突解决模块连接，接收用户的API指令，并将API指令发送给冲突解决模块；冲突解决模块，输入端与应用程序接口模块连接，输出端与大数据平台连接，接收应用程序接口模块传输的API指令，对API指令按预设规则进行处理，并将处理后的API指令发送给大数据平台；大数据平台，接收通过冲突解决模块处理后的API指令，根据API指令调用大数据平台数据。本发明在API接口与大数据平台之间加入冲突解决模块，当API指令流量过大、发生突发性能流量时，防止大数据平台宕机。克服了现有技术在API极高交互速率时对导致大数据平台无响应的问题。

技术领域

本发明涉及的是大数据应用技术领域，特别涉及一种解决大数据平台数据冲击的系统和方法。

背景技术

大数据平台提供海量数据的存储计算和查询展示功能，在商业领域有诸多案例。随着工业采集设备发展与成熟，其逐渐应用于诸如冶金，石油，水利等工业领域。

通过对应的API访问大数据平台是一种约定通用的方式，不过随着采集设备及技术的不断发展，数据量成指数增长，短期的海量的API命令对大数据平台的压力较大。

专利号为CN105450618A的专利《一种API服务器处理大数据的运算方法及其系统》，其提供的一种API服务器处理大数据的运算方法，方法包括：客户端接收用户的操作指令，向API服务器发送请求数据；API服务器接收所述请求数据，并将所述请求数据发送至消息队列集群缓冲，消息队列集群再将所述请求数据发送至分布式实时计算系统集群；分布式实时计算系统集群对所述请求数据进行业务逻辑运算，并将得到的运算结果发送至数据库存储；当客户端接收到用户的结果获取指令时，API服务器根据所述结果获取指令在数据库中查询所述运算结果并返回至客户端。

其特征在于构建了独立的API服务器，采用消息队列作为缓冲，一定程度上缓解了数据冲击的问题。不过当API与大数据平台通讯达到毫秒级，可能导致大数据平台灾难性影响。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种解决大数据平台数据冲击的系统和方法。

一种解决大数据平台数据冲击的系统，包括：API接口模块、冲突解决模块、大数据平台，其中：

API接口模块，与冲突解决模块连接，接收用户的API指令，并将API指令发送给冲突解决模块；

冲突解决模块，输入端与应用程序接口模块连接，输出端与大数据平台连接，接收应用程序接口模块传输的API指令，对API指令按预设规则进行处理，并将处理后的API指令发送给大数据平台；

大数据平台，接收通过冲突解决模块处理后的API指令，根据API指令调用大数据平台数据。

进一步地，冲突解决模块通过REDIS数据库对API指令进行处理。

进一步地，对API指令按预设规则进行处理，预设规则包括：预先给每个API接口模块分配一个唯一的ID，当冲突解决模块接收API接口模块请求时，对当前API接口模块ID在REDIS中进行判断，如果REDIS中存在ID这个关键字KEY，则通过INCR命令对ID的值自增，同时判断ID的值与最大流量f比较，如果大于最大流量f则拒绝请求，如果小于或等于最大流量f则发送给大数据平台。

进一步地，对API指令按预设规则进行处理，预设规则包括：如果REDIS中不存在ID这个关键字KEY，则使用SET命令创建一个字符串类型数据，其中关键字KEY为ID，值VALUE为0，到期时间EX为t。

进一步地，对API指令按预设规则进行处理，预设规则还包括：