[发明专利]一种分布式高并发的消息匹配方法有效
| 申请号: | 202111270752.6 | 申请日: | 2021-10-29 | 
| 公开(公告)号: | CN113986961B | 公开(公告)日: | 2022-05-20 | 
| 发明(设计)人: | 周鑫;陈忠国;李忱;江何;门殿春;孟繁荣;姚志强 | 申请(专利权)人: | 北京泰策科技有限公司;北京东方通科技股份有限公司 | 
| 主分类号: | G06F16/2453 | 分类号: | G06F16/2453;G06F9/54;G06F16/22;G06F16/2455;G06F16/27;G06F16/28;G06F11/14 | 
| 代理公司: | 北京同辉知识产权代理事务所(普通合伙) 11357 | 代理人: | 杨敬 | 
| 地址: | 100176 北京市大兴区北京经*** | 国省代码: | 北京;11 | 
| 权利要求书: | 查看更多 | 说明书: | 查看更多 | 
| 摘要: | |||
| 搜索关键词: | 一种 分布式 并发 消息 匹配 方法 | ||
1.一种分布式高并发的消息匹配方法,其特征在于,包括以下步骤:
S1、通过MurmurHash计算方式实现hash计算,建立基于处理器下层的访问数据缓存,通过java的TreeMap来实现缓存消息呈线性队列排列;
S2、建立基于处理器与mysql之间数据缓存的中间层,建立基于中间层并位于mysql内的搜索引擎;
S3、在处理器下层的线性队列数据缓存引入漏桶算法,实现突发流量的平滑限流策略;
S4、建立多个mysql下层的数据备份服务器,多个数据备份服务器均装载独立的mysql;
S5、在多个所述数据备份服务器所对应的mysql均建立中间层并与同一处理器连接;
S6、多个数据备份服务器的中间层之间互相检索,并保持缓存数据的差异性;
S7、将平滑限流策略所拒绝的信息均引入备份处理器,实现数据限流的双桶分流处理。
2.根据权利要求1所述的一种分布式高并发的消息匹配方法,其特征在于:所述备份处理器与主处理器对应的多个中间层连接,所述备份处理器的下层同步搭建次级线性队列数据缓存并引入漏桶算法。
3.根据权利要求1所述的一种分布式高并发的消息匹配方法,其特征在于:所述缓存数据的差异性为基于缓存数据的不重复之上条件下进行优先级依次处理,以保持缓存容量处于最低百分之九十的占用且不清除。
4.根据权利要求1所述的一种分布式高并发的消息匹配方法,其特征在于:所述漏桶算法包括以下步骤:
a:依据处理器下层的数据缓存设定线性队列数据缓存的最大容量;
b:依据处理器的最大并行处理量及速度设定处理器下层的最大数据缓存漏出速度;
c:依据数据缓存处理速度与时间间隔的乘积获取数据总处理量;
d:判断线性队列数据缓存容量余量,若未满则继续录入数据,若容量满后则拒绝数据录入,并使其数据存入备份处理器对应的次级线性队列数据缓存中进行同步处理。
5.根据权利要求1所述的一种分布式高并发的消息匹配方法,其特征在于:所述中间层包括由livejournal的bradfitzpatrick开发出的分布式的高速缓存系统memcache。
6.根据权利要求5所述的一种分布式高并发的消息匹配方法,其特征在于:所述memcache工作流程包括:
a:检查客户端的请求数据是否在memcache中;
b:如有,直接把请求数据返回,不再对数据库进行任何操作,如果请求的数据不在memcache中,则访问数据库,通过建立的搜索引擎从数据库中获取数据并返回给客户端,同时把数据缓存一份到memcache中。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京泰策科技有限公司;北京东方通科技股份有限公司,未经北京泰策科技有限公司;北京东方通科技股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111270752.6/1.html,转载请声明来源钻瓜专利网。





