[发明专利]一种解决大数据平台数据冲击的系统和方法有效

专利信息
申请号: 202010734999.8 申请日: 2020-07-28
公开(公告)号: CN111901416B 公开(公告)日: 2023-06-27
发明(设计)人: 王志军;欧阳帆;王盛;姚文达;贺立红 申请(专利权)人: 中冶南方工程技术有限公司
主分类号: H04L67/60 分类号: H04L67/60;H04L47/50
代理公司: 北京汇泽知识产权代理有限公司 11228 代理人: 郑飞
地址: 430223 湖北省武*** 国省代码: 湖北;42
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 一种 解决 数据 平台 冲击 系统 方法
【权利要求书】:

1.一种解决大数据平台数据冲击的系统,其特征在于,包括:API接口模块、冲突解决模块、大数据平台,其中:

API接口模块,与冲突解决模块连接,接收用户的API指令,并将API指令发送给冲突解决模块;

冲突解决模块,输入端与应用程序接口模块连接,输出端与大数据平台连接,接收应用程序接口模块传输的API指令,对API指令按预设规则进行处理,并将处理后的API指令发送给大数据平台;

大数据平台,接收通过冲突解决模块处理后的API指令,根据API指令调用大数据平台数据;

冲突解决模块通过REDIS数据库对API指令进行处理;对API指令按预设规则进行处理,预设规则还包括:

预先给每个API接口模块分配一个唯一的ID,当冲突解决模块接收API接口模块请求时,使用LPUSH命令,设置关键字KEY为ID,值VALUE为当前时间,将命令推送到列表;

使用LTRIM命令,设置关键字KEY为ID,START为0,STOP为n-1;

将上述两个命令采用multi标记,保证其先后执行,不受其他命令打断;

使用LLEN命令,设置关键字KEY为ID,获取列表长度n1;将取列表长度n1与最大队列长度n进行判断,若列表长度n1小于最大队列长度n,直接将API指令发送给大数据平台。

2.如权利要求1的一种解决大数据平台数据冲击的系统,其特征在于,对API指令按预设规则进行处理,预设规则包括:预先给每个API接口模块分配一个唯一的ID,当冲突解决模块接收API接口模块请求时,对当前API接口模块ID在REDIS中进行判断,如果REDIS中存在ID这个关键字KEY,则通过INCR命令对ID的值自增,同时判断ID的值与最大流量f比较,如果大于最大流量f则拒绝请求,如果小于或等于最大流量f则发送给大数据平台。

3.如权利要求2的一种解决大数据平台数据冲击的系统,其特征在于,对API指令按预设规则进行处理,预设规则包括:如果REDIS中不存在ID这个关键字KEY,则使用SET命令创建一个字符串类型数据,其中关键字KEY为ID,值VALUE为0,到期时间EX为t。

4.如权利要求1的一种解决大数据平台数据冲击的系统,其特征在于,对API指令按预设规则进行处理,预设规则还包括:

若列表长度n等于最大队列长度n1,则使用LINDEX命令,设置关键字KEY为ID,索引INDEX为n-1,获取最早的时间和当前时间比较,将两者时间之差除以n的值表示流量繁忙程度,若流量繁忙程度大于预设阈值,则拒绝API请求,若流量繁忙程度小于预设阈值,将API请求发送给大数据平台。

5.如权利要求1或2的一种解决大数据平台数据冲击的系统,其特征在于,采用GUID生成器对每个API接口模块分配一个唯一的ID。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中冶南方工程技术有限公司,未经中冶南方工程技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/202010734999.8/1.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top