[发明专利]一种分布式高并发的消息匹配方法

说明书

本发明公开了一种分布式高并发的消息匹配方法，具体涉及高并发服务端技术领域，本发明通过采用线性的消息队列排列方式，使其在出现数据无法即时处理的过程中实现数据的队列化依次处理，保障每个数据均能被处理，且配合漏桶算法的方式，使其处理器下层的缓存能够进行自适应分配，采用备份处理器并行处理余量的方式，同时在高并发消息的处理过程中同步处理，形成双桶策略，配合对数据库的多次备份服务器配合，能够在多个中间层内部缓存数据不重复作用下提升两个处理器的数据读取速度，采用多个相同数据源同步读取不同数据的方式，实现高访问量的响应速度得到保障，对数据库适应高并发消息匹配的高读取状态下的稳定性有着决定性作用。

技术领域

本发明涉及高并发服务端技术领域，更具体地说，本发明涉及一种分布式高并发的消息匹配方法。

背景技术

在同时或者极短时间内，有大量请求到达服务端，每个请求都需要服务端耗费资源进行处理，并做出相应反馈，服务端比如同时开启进程数，能同时运行的线程数、网络连接数、CPU运算、I/O、内存都是有限，所以服务端能同时处理请求也是有限的。高并发本质就是资源的有限性，如：系统在线人数10W，并不意味系统并发用户是10W,可能存在10w用户同时在首页查看静态文章，并未对服务器进行发送请求那么高并发数是根据系统真实用户数并发送请求需要服务端耗费资源进行处理的请求且服务端只能开启100个线程，恰好1个线程处理一个请求需要耗时1s，那么服务端1s只能处理100个请求。

其数据库在较大数据的访问下，数据大量读取，使其数据存入压力同步增大，对于数据的安全性无法得到有效的保障，多余请求无法处理，作为数据的高并发而言，其数据的处理已经无法实现实时的处理，同时其在大量数据的持续积压下，其数据库在持续的高访问量下，对于数据库服务器的压力冲击很大，响应速度也会下降，致使处理器针对于高并发的消息匹配效率进一步受到制约，故而需要对此优化处理。

发明内容

为了克服现有技术的上述缺陷，本发明提供了一种分布式高并发的消息匹配方法，本发明所要解决的技术问题是：在高并发现象为出现时，目前的服务端难以有效实现不停机维护，同时针对于高并发状态下，难以有效的稳定处理，使其受到单核最大线程数制约，对于高并发的处理效率难以得到有效配合，且数据库的响应速度受到压力冲击大，造成响应减缓，制约消息匹配的效率的问题。

为实现上述目的，本发明提供如下技术方案：一种分布式高并发的消息匹配方法，包括以下步骤：

S1、通过MurmurHash计算方式实现hash计算，建立基于处理器下层的访问数据缓存，通过java的TreeMap来实现缓存消息呈线性队列排列。

S2、建立基于处理器与mysql之间数据缓存的中间层，建立基于中间层位于mysql内的搜索引擎。

S3、所述处理器下层的线性队列数据缓存引入漏桶算法，实现突发流量的平滑限流策略。

S4、建立多个mysql下层的数据备份服务器，多个数据备份服务器均装载独立的mysql。

S5、在多个所述数据备份服务器所对应的mysql均建立中间层并与同一处理器连接。

S6、多个数据备份服务器的中间层之间互相检索，并保持缓存数据的差异性。

S7、所述平滑限流策略所拒绝的信息均引入备份处理器，实现数据限流的双桶分流处理。

作为本发明的进一步方案：所述备份处理器与主处理器对应的多个中间层连接，所述备份处理器的下层同步搭建次级线性队列数据缓存并引入漏桶算法。

作为本发明的进一步方案：所述缓存数据的差异性为基于缓存数据的不重复之上条件下进行优先级依次处理，以保持缓存容量处于最低百分之九十的占用且不清除。

作为本发明的进一步方案：所述漏桶算法包括以下步骤：