[发明专利]一种数据流处理方法及设备

说明书

本申请实施例公开了一种数据流处理方法及设备，其中，该方法应用于数据流处理设备，该数据流处理设备包括多个队列，该多个队列中不同的队列用于存储不同大小范围的数据流，该方法包括：接收待写入存储介质的多个数据流；根据多个数据流的大小，将该多个数据流分别输入对应的队列中；对第一队列中的数据流进行聚合，该第一队列为多个队列中的任意一个；将聚合后得到的聚合数据流写入存储介质中。可见，通过实施本申请实施例，有利于提升存储介质的利用率。

技术领域

本申请涉及通信技术领域，尤其涉及一种数据流处理方法及设备。

背景技术

在现有的实际应用中，数据流处理设备通常需要对接收到的数据流进行存储。例如，该数据流可以是文件数据流或视频数据流等。数据流处理设备接收数据流之后，通常数据流处理设备先将数据流输入至业务逻辑层的一个队列中，再从队列中将数据流写入存储介质。如图1所示，当数据流处理设备同时接收到50个数据流时，数据流处理设备将该50个数据流输入到业务逻辑层的一个队列中，并向存储介质申请50个存储空间。存储介质会随机分配50个存储空间。由于存储介质随机分配存储空间，因此，分配的存储空间可能不连续。这将导致存储介质的利用率较低。

发明内容

本申请实施例提供了一种数据流处理方法及设备，有利于提升存储介质的利用率。

第一方面，本申请实施例提供了一种数据流处理方法，应用于数据流处理设备，该数据流处理设备包括多个队列，该多个队列中不同的队列用于存储不同大小范围的数据流，该方法包括：接收待写入存储介质的多个数据流；根据多个数据流的大小，将该多个数据流分别输入对应的队列中；对第一队列中的数据流进行聚合，该第一队列为多个队列中的任意一个；将聚合后得到的聚合数据流写入存储介质中。

可见，通过实施第一方面所描述的方法，有利于提升存储介质的利用率，并且还有利于提升数据流处理设备的TPS。

可选的，该多个队列中的各个队列具有对应的聚合大小门限值，对第一队列中的数据流进行聚合的具体实施方式为：根据第一队列对应的聚合大小门限值对第一队列中的数据流进行聚合；将聚合后得到的聚合数据流写入存储介质中的具体实施方式为：当第一队列的聚合数据流的大小达到第一队列对应的聚合大小门限值时，将第一队列的聚合数据流写入存储介质中。

通过聚合数据流的大小达到预设的聚合大小门限值之后写入存储介质中，可以提升数据流处理设备的TPS。

可选的，该多个队列中的各个队列具有对应的聚合时间门限值，当对第一队列中的数据流进行聚合的时间达到第一队列对应的聚合时间门限值时，将第一队列的聚合数据流写入存储介质中。

通过实施该实施方式，若长时间第一队列中无法聚合达到第一队列对应的聚合大小门限值的聚合数据流，则将导致第一队列中的数据流长时间无法写入存储介质。因此，通过实施该实施方式，有利于降低将第一队列中的数据流长时间无法写入存储介质的时延。

可选的，第一队列的聚合时间门限值根据第一队列的聚合大小门限值得到。数据流处理设备可预先存储聚合大小门限值与聚合时间门限值的对应关系，第一队列的聚合时间门限值为该对应关系中第一队列的聚合大小门限值对应的聚合时间门限值。可选的，该对应关系中，聚合大小门限值与聚合时间门限值成正比关系，即聚合大小门限值越大聚合时间门限值越长。通过实施该实施方式，能够灵活地对第一队列的聚合时间门限值进行设置。

可选的，数据流处理设备还可以预设时间为周期，根据各个队列的第一聚合数据流的写入时延以及各个队列对应的数据流并发数量设置各个队列对应的聚合大小门限值，其中，该第一队列的第一聚合数据流的写入时延为从接收到第一队列的第一聚合数据流中的数据流至成功写入第一聚合数据流的时长，该第一队列对应的数据流并发数量为大小与第一队列的第一聚合数据流的大小相同的数据流的并发数量。

通过实施该实施方式，能够根据当前的实际情况，灵活地动态地为各个队列设置最优的聚合大小门限值，从而提升数据流处理设备的TPS。