[发明专利]一种动态切换数据流的方法、系统、介质及终端有效
申请号: | 202110924619.1 | 申请日: | 2021-08-12 |
公开(公告)号: | CN113608896B | 公开(公告)日: | 2023-09-08 |
发明(设计)人: | 魏程琛;贺宁 | 申请(专利权)人: | 重庆紫光华山智安科技有限公司 |
主分类号: | G06F9/54 | 分类号: | G06F9/54;G06F9/455 |
代理公司: | 上海光华专利事务所(普通合伙) 31219 | 代理人: | 李铁 |
地址: | 400700 重庆市*** | 国省代码: | 重庆;50 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 动态 切换 数据流 方法 系统 介质 终端 | ||
1.一种动态切换数据流的方法,其特征在于,包括:
监控数据服务状态,所述数据服务包括数据消费服务和数据生产服务;
当所述数据消费服务启动时,若数据完全被消费,则进行实时处理,否则进行异步处理;
当所述数据生产服务启动时,通过调用数据消费服务数据接入接口确认,使所述数据消费服务正常运行,并根据中间件中状态写入主题的偏移量的变化,改变数据生产方式;
所述监控数据服务状态包括:获取容器的资源情况、接口的队列阈值、中间件中数据写入主题的偏移量,以及中间件中状态写入主题的偏移量;如所述中间件中数据写入主题的偏移量为最新,则判定数据完全被消费;
所述通过调用数据消费服务数据接入接口确认,使所述数据消费服务正常运行之后包括:
若所述中间件中状态写入主题的偏移量为最新,
则调用再平衡接口,消费最后一条数据作为数据处理依据;
否则,则调用数据消费服务接入查询接口确认后,再以实际消费的最新数据进行处理;
在判断所述中间件中状态写入主题的偏移量为最新之前,包括:
如果调用接入接口不满足正常处理请求,则直接进行数据的异步生产,将数据写入中间件的数据写入主题中;
如果调用接入接口满足正常处理请求,则判断所述中间件中状态写入主题的偏移量是否为最新;
如果中间件中状态写入主题中无数据,则进行数据的同步生产;
如果中间件中状态写入主题中有数据,且所述中间件中状态写入主题的偏移量为最新,则调用所述再平衡接口,重新消费状态写入主题的最后一条数据,作为数据生产的依据;
如果中间件中状态写入主题中有数据,且所述中间件中状态写入主题的偏移量不为最新,则消费所有的数据,并以最后一条数据的生产方式作为数据生产方式。
2.根据权利要求1所述的动态切换数据流的方法,其特征在于,当数据服务异常重启时,同时重启所述数据消费服务和数据生产服务,若重启后所述数据消费服务异常,则将数据发送至中间件。
3.根据权利要求2所述的动态切换数据流的方法,其特征在于,如存在未消费完成的数据,则通过将主题中用于标志是否实时处理的标志参数赋值为假,并将已赋假值的标志参数按预设状态写入主题写入中间件,并进行数据的异步处理;
如不存在未消费完成的数据,
若资源占用率大于预设的阈值,则将所述标志参数赋值为假;
若资源占用率小于等于所述阈值,则将所述标志参数赋值为真;
在更新所述标志参数时,通过将标志参数已赋值的状态写入主题,写入中间件,通知数据生产服务。
4.根据权利要求2所述的动态切换数据流的方法,其特征在于,
当发生服务重启时,以服务启动的策略进行数据生产;
当数据消费服务数据接入异常时,则数据生产服务切换为异步生产,将数据写入数据库中,如中间件中状态写入主题中的对应的消费者状态数据不变,则周期性进行实时尝试,直至尝试成功。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于重庆紫光华山智安科技有限公司,未经重庆紫光华山智安科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110924619.1/1.html,转载请声明来源钻瓜专利网。