[发明专利]一种流式数据的缓存方法及装置

说明书

本发明公开了一种流式数据的缓存方法及装置，涉及数据处理技术领域，为解决数据流输出的高峰时刻缓存数据丢失的问题而发明。该方法主要包括：根据预置抽样频率和预置观测时长，采集所述可缓存设备接收到的历史数据流序列；根据所述历史数据流序列，预测当前抽样时刻的当前预测数据流；根据流量配置映射关系，查找所述当前预测数据流对应的单次缓存数据包大小；根据所述查找结果，对当前实际数据流进行缓存。本发明主要应用数据缓存的过程中。

技术领域

本发明涉及数据处理技术领域，特别是涉及一种流式数据的缓存方法及装置。

背景技术

随着信息技术的不断发展，人类活动所产生的数据正在以超越几何级数的速度快速膨胀，形成无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，也就是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产，也就是大数据。流处理是一种主要的大数据处理模式，其中，流处理的数据源是实时流式数据，对实时性要求较高。

在流式数据处理系统中通常需要使用消息中间件起到数据缓冲的作用。流式数据处理的主要需要解决的流式数据的背压问题，当接收数据速度大于数据处理速度，却又不希望丢失数据时，就需要一个数据缓冲区容纳已接收而未被处理的数据。这种缓冲机制常常利用消息中间件或消息队列工具实现。在许多应用场景中，消息中间件的上游流式数据源输出不稳定的、非均匀的、突发的流数据，消息中间件不能自发适应数据流量的变化，也就是使用消息中间件并不意味着完全消除了数据丢失的风险。在流数据输出的高峰时刻，流数据产生的速度可能高于消息中间件的吞吐能力，进而造成数据丢失，或者影响缓存中间件的性能。

发明内容

有鉴于此，本发明提供一种流式数据的缓存方法及装置，主要目的在于解决现有技术中在数据流输出的高峰时刻缓存数据丢失的问题。

依据本发明一个方面，提供了一种流式数据的缓存方法，包括：

根据预置抽样频率和预置观测时长，采集所述可缓存设备接收到的历史数据流序列；

根据所述历史数据流序列，预测当前抽样时刻的当前预测数据流；

根据流量配置映射关系，查找所述当前预测数据流对应的单次缓存数据包大小；

根据所述查找结果，对当前实际数据流进行缓存。

依据本发明另一个方面，提供了一种流式数据的缓存装置，包括：

采集模块，用于根据预置抽样频率和预置观测时长，采集所述可缓存设备接收到的历史数据流序列；

预测模块，用于根据所述历史数据流序列，预测当前抽样时刻的当前预测数据流；

查找模块，用于根据流量配置映射关系，查找所述当前预测数据流对应的单次缓存数据包大小；

缓存模块，用于根据所述查找结果，对当前实际数据流进行缓存。

根据本发明的又一方面，提供了一种计算机存储介质，所述计算机存储介质中存储有至少一种可执行指令，所述可执行指令使处理器执行如上述流式数据的缓存方法对应的操作。

根据本发明的再一方面，提供了一种计算机设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

所述存储器用于存放至少一种可执行指令，所述可执行指令使所述处理器执行上述流式数据的缓存方法对应的操作。

借由上述技术方案，本发明实施例提供的技术方案至少具有下列优点：