[发明专利]基于sentinel的高性能的海量数据集群限流方法和系统

权利要求书

1.一种基于sentinel的高性能的海量数据集群限流方法，其特征在于，包括：

(1)将多个平台的数据都单独分开，这样实现了并发运行，对各个平台的生产者进行定时调度；

(2)当调用生产者时，每个平台都有自己的生产者，所述生产者查询数据时，查询数据库的数据是不同的，控制并发进行多个平台查询操作；

(3)当所述平台产生数据后，然后将其发到消息中间件rabbitmq上，所述消息中间件rabbitmq将所述生产者传来的数据转发到对应队列绑定的消费者上，实现同个平台生产的数据并发消费；

(4)所述消费者收到所述rabbitmq传来的数据后，根据传来的所述数据发出封装请求来调用第三方接口，采用集群限流控制方式处理数据。

2.根据权利要求1所述一种基于sentinel的高性能的海量数据集群限流方法，其特征在于，所述步骤(1)是针对不同运营商平台，将每个平台的数据都单独分开，各自独立并发运行，再采取分布式任务调度平台xxl-job对各个平台的生产者进行定时调度。

3.根据权利要求1所述一种基于sentinel的高性能的海量数据集群限流方法，其特征在于，所述步骤(3)中，所述消息中间件rabbitmq将所述生产者传来的数据转发到对应队列绑定的消费者上，通过所述rabbitmq实现同个平台生产的数据可以并发消费，是采用至少两台主机来消费数据。

4.根据权利要求1所述一种基于sentinel的高性能的海量数据集群限流方法，其特征在于，所述步骤(4)中采用集群限流控制方式处理数据，具体是基于sentinel技术，通过部署多台主机来实现集群，而每台主机上针对每个平台的每个账号可以有多个消费者，而每个账号都设定为所述多个消费者来消费数据；

接着设置限流规则，将每个账号都设置自己的限流规则，这些集群限流规则保存在redis内存中,可以随时修改和控制；

再进行集群限流控制，每个消费者在调用第三方数据时，都会经过所述设置好限流规则的集群限流控制系统拦截，判断能不能通过所述限流规则，如果通过则放行，继续调用第三方接口，并发送确认消息给rabbitmq告诉消费了数据；如果拒绝不能通过，则直接返回而不能调用第三方接口。

5.根据权利要求4所述一种基于sentinel的高性能的海量数据集群限流方法，其特征在于，将每个账号都可以设置自己的限流规则，具体是灵活设置同个账号的多个消费者的限流规则是相同的，而不同账号的限流规则可以设置不同。

6.一种基于sentinel的高性能的海量数据集群限流系统，其特征在于，包括：

数据并发运行模块，用于将多个平台的数据都单独分开，这样实现了并发运行，对各个平台的生产者进行定时调度；

并发平台查询控制模块，用于当调用生产者时，每个平台都有自己的生产者，生产者查询数据时，查询数据库的数据是不同的，控制并发同时进行多个平台查询操作；

数据并发消费控制模块，用于当所述平台产生数据后，然后将其发到消息中间件rabbitmq上，所述消息中间件rabbitmq将所述生产者传来的数据转发到对应队列绑定的消费者上，实现同个平台生产的数据并发消费；

集群限流控制模块，用于当所述消费者收到rabbitmq传来的数据后，根据传来的数据来封装请求来调用第三方接口，采用集群限流控制方式处理数据。

7.根据权利要求6所述一种基于sentinel的高性能的海量数据集群限流系统，其特征在于，

所述集群限流控制模块，还用于基于sentinel技术，通过部署多台主机来实现集群，而每台主机上针对每个平台的每个账号可以有多个消费者，而每个账号都设定为多个消费者来消费数据；

接着设置限流规则，将每个账号都可以设置自己的限流规则，这些集群限流规则保存在redis内存中,可以随时修改和控制；

再进行集群限流控制，每个消费者在调用第三方数据时，都会经过所述设置好限流规则的集群限流控制系统拦截，判断能不能通过所述限流规则，如果通过则放行可以继续调用第三方接口，并发送条确认消息给rabbitmq告诉消费了数据；如果拒绝不能通过则直接返回而不能调用第三方接口。