[发明专利]基于sentinel的高性能的海量数据集群限流方法和系统

说明书

本专利提供基于sentinel的高性能的海量数据集群限流方法和系统，方法包括：(1)将多个平台的数据都单独分开，这样实现了并发运行，对各个平台的生产者进行定时调度；(2)当调用生产者时，每个平台都有自己的生产者，生产者查询数据时，查询数据库的数据是不同的，控制并发同时进行多个平台查询操作；(3)当平台生产数据后，然后将其发到消息中间件上，消息中间件将生产者传来的数据转发到对应队列绑定的消费者上，实现同个平台生产的数据并发消费；(4)消费者收到消息中间件传来的数据后，根据传来的数据来封装请求来调用第三方接口，采用集群限流控制方式处理数据。具有智能化和高性能，同时能精确、灵活地对海量数据进行管理。

技术领域

本发明属于物联网智能数据处理领域，尤其涉及一种基于sentinel的高性能的海量数据集群限流方法和系统。

背景技术

现有的物联网数据同步和限流策略基本上是定时轮询，不间断地查询数据库获取现有的需要同步的数据，然而会出现如下情况：

1、数据同步延时问题。现有的技术方案，是所有平台的数据只有一个生产者，虽然有多个消费者获取，但是也只有一个消费入口，然后获取到数据才分发调用第三方，比如物联网卡有几百万的卡，数据量非常之大，如果按照这种方式，一天甚至几天，都是没法将数据同步回来的，加上按照第三方的限流规则，调用次数非常有限，所以获取回来的数据延时性非常大，而延时带来的就是数据不准确问题。

2、系统压力和性能问题。现有的系统采取的是定时轮询的，而且基本上是刚启动时就执行，然后内部具体执行是通过死循环来一直执行，这种同步方式其实是非常耗费计算机的cpu资源的,因为它不间断地执行,相当于没有休息，但是资源利用率又不高，因为遇到限流时它就休眠，休眠个几秒钟，这种锁住资源又不释放,会给系统带来巨大压力和性能问题。

3、限流策略不可控问题。现有的技术没法单独对某平台，甚至对某个账号，某个接口进行针对性地限流，也就是说现有的数据限流是不可控的，依赖于第三方返回的信息被动调整。

发明内容

鉴于以上现有技术的不足，本发明提供一种基于sentinel的高性能的海量数据集群限流方法和系统，具有智能化和高性能，能精确并且灵活地对海量数据进行管理。

本发明方案提供一种基于sentinel的高性能的海量数据集群限流方法，包括：

(1)将多个平台的数据都单独分开，这样实现了并发运行，对各个平台的生产者进行定时调度；

(2)当调用生产者时，每个平台都有自己的生产者，所述生产者查询数据时，查询数据库的数据是不同的，控制并发进行多个平台查询操作；

(3)当所述平台产生数据后，然后将其发到消息中间件rabbitmq上，所述消息中间件rabbitmq将所述生产者传来的数据转发到对应队列绑定的消费者上，实现同个平台生产的数据并发消费；

(4)所述消费者收到所述rabbitmq传来的数据后，根据传来的所述数据发出封装请求来调用第三方接口，采用集群限流控制方式处理数据。

进一步，所述步骤(1)是针对不同运营商平台，将每个平台的数据都单独分开，各自独立并发运行，再采取分布式任务调度平台xxl-job对各个平台的生产者进行定时调度。

进一步，所述步骤(3)中，所述rabbitmq消息中间件将所述生产者传来的数据转发到对应队列绑定的消费者上，通过所述rabbitmq实现同个平台生产的数据可以并发消费，是采用至少两台主机来消费数据。

进一步，所述步骤(4)中采用集群限流控制方式处理数据，具体是基于sentinel技术，通过部署多台主机来实现集群，而每台主机上针对每个平台的每个账号可以有多个消费者，而每个账号都设定为多个消费者来消费数据；