[发明专利]一种流式数据的缓存方法及装置在审
申请号: | 201911302664.2 | 申请日: | 2019-12-17 |
公开(公告)号: | CN111177194A | 公开(公告)日: | 2020-05-19 |
发明(设计)人: | 王绪亮;聂铁铮;黄菊;闫铭森;李迪;刘畅 | 申请(专利权)人: | 东北大学 |
主分类号: | G06F16/2455 | 分类号: | G06F16/2455 |
代理公司: | 北京中强智尚知识产权代理有限公司 11448 | 代理人: | 黄耀威 |
地址: | 110819 辽*** | 国省代码: | 辽宁;21 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 数据 缓存 方法 装置 | ||
1.一种流式数据的缓存方法,其特征在于,包括:
根据预置抽样频率和预置观测时长,采集可缓存设备接收到的历史数据流序列;
根据所述历史数据流序列,预测当前抽样时刻的当前预测数据流;
根据流量配置映射关系,查找所述当前预测数据流对应的单次缓存数据包大小;
根据所述查找结果,对当前实际数据流进行缓存。
2.如权利要求1所述的方法,其特征在于,所述根据所述历史数据流序列,预测当前抽样时刻的当前预测数据流,包括:
根据所述预置抽样频率和所述预置观测时长,计算所述当前抽样时刻相当于所述预置观测时长中的抽样位置;
在所述历史数据流序列中,查找所述抽样位置对应的当前预存数据流。
3.如权利要求1所述的方法,其特征在于,所述根据所述查找结果,对当前实际数据流进行缓存之后,所述方法还包括:
监测所述当前时刻的实际当前数据流;
计算所述预测当前流程数据与所述实际当前数据流的流量差;
如果所述流量差大于第一预置阈值,则按照第一预置学习率调整所述预置抽样频率和所述预置观测时长,且重新采集所述历史数据流序列;
如果所述流量差小于第二预置阈值,则按照第二预置学习率调整所述预置抽样频率和所述预置观测时长,且重新采集所述历史数据流序列。
4.如权利要求1所述的方法,其特征在于,所述按照流量配置映射关系,查找所述实际当前数据流对应的单次缓存数据包大小之前,所述方法还包括:
测试所述可缓存设备的数据流流速与单次缓存数据包大小之间的流量配置映射关系。
5.如权利要求4所述的方法,其特征在于,所述测试可缓存设备的数据流流速与单次缓存数据包大小之间的流量配置映射关系,包括:
在所述可缓存设备中,设置速度测试序列和缓存配置测试序列,所述测试序列包括多个数值不同的数据流流速,且所述数据流流速按照从小到大的顺序排列,所述缓存配置测试序列包括多个数值不同的配置缓存数据包大小,且所述配置缓存数据包大小按照从小到大的顺序排列;
将所述速度测试序列中每个所述数据流流速以所述缓存配置测试序列中每个所述配置缓存数据包大小进行缓存,测试并记录缓存过程中的平均吞吐速率和平均发送延迟;
根据所述和所述平均发送延迟,采用预置拟合算法,拟合每个所述数据流流速的所述平均吞吐速率对应的流量吞吐速率关系式,以及拟合每个所述数据流流速的所述平均发送延迟对应的流量发送延迟关系式;
将所述流量吞吐速率关系式和所述流量发送延迟关系式作为约束条件,采用非支配排序遗传算法NSGA,计算所述速度测试序列中每个所述数据流流速的非劣势配置区间,所述非劣势配置换区间是指使得所述数据流流速在缓存过程中符合所述约束条件的所述配置缓存数据包大小的可配置数据范围区间;
根据所述非劣势配置区间的配置中间值,采用回归模型拟合算法,计算与所述数据流流速对应的配置缓存数据包大小,获取所述数据流流速与所述单次缓存数据包大小之间的所述流量配置映射关系。
6.一种流式数据的缓存装置,其特征在于,包括:
采集模块,用于根据预置抽样频率和预置观测时长,采集所述可缓存设备接收到的历史数据流序列;
预测模块,用于根据所述历史数据流序列,预测当前抽样时刻的当前预测数据流;
查找模块,用于根据流量配置映射关系,查找所述当前预测数据流对应的单次缓存数据包大小;
缓存模块,用于根据所述查找结果,对当前实际数据流进行缓存。
7.如权利要求6所述的装置,其特征在于,所述预测模块,包括:
计算单元,用于根据所述预置抽样频率和所述预置观测时长,计算所述当前抽样时刻相当于所述预置观测时长中的抽样位置;
查找单元,用于在所述历史数据流序列中,查找所述抽样位置对应的当前预存数据流。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于东北大学,未经东北大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201911302664.2/1.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置