[发明专利]数据流处理方法和系统

说明书

技术领域

本发明涉及数据处理领域，具体地，涉及一种数据流处理方法和系统。

背景技术

随着互联网的飞速发展，基于网络的音视频传输流量也越来越大，网络音视频流已深入到了人们的日常生活，给我们的生活带来了很多方便和变化，而不断出现庞大的、不同内容的图像信息库，也似乎给我们带来了不少的困扰，网上大量不良图像对广大青年人的有很多毒害；为了净化网络，维护社会和谐安定，迫切需要对网络上的音视频内容进行监管。而音视频内容监管需要高性能的解码系统，才能够满足互联网海量音视频数据的并行解码需求。然而，大量的视频解码任务片段是属于同一个流，流路数多，不同流任务片段数目差异大，需要兼顾负载均衡和流的响应延迟。

针对相关技术中由于统一对所有数据流进行处理导致处理效率低、处理资源利用不合理的问题，目前尚未提出有效的解决方案。

发明内容

针对相关技术中由于统一对所有数据流进行处理导致处理效率低、处理资源利用不合理的问题，本发明提出一种数据流处理方法和系统，能够通过对多个处理核心划分得到的多个资源组对数据流进行并行处理，提高处理的效率，优化利用处理资源。

本发明的技术方案是这样实现的：

根据本发明的一个方面，提供了一种数据流处理方法，该处理方法用于借助众核处理器的多个处理器核心对数据流进行解码处理，其中，多个处理器核心被划分为多个资源组，该处理方法包括：

将数据流分配给多个资源组中的部分或全部；以及

每个资源组对被分配到该资源组的数据流进行解码处理。

其中，将数据流分配给多个资源组中的部分或全部包括：

根据多个资源组的负荷，将数据流分配给多个资源组中的部分或全部。

此外，将数据流分配给多个资源组中的部分或全部进一步包括：

对每个资源组分配一个数据流，如果仍存在未分配的数据流，则根据多个资源组的负荷将未分配的数据流分配给多个资源组，直至不存在未分配的数据流。

并且，在分配了所有数据流之后，进一步通过以下方式中的至少之一对已经分配的数据流的分配情况进行调整：

根据数据流的片段数量对数据流的分配情况进行调整；

根据数据流的格式对数据流的分配情况进行调整；以及

根据数据流的属性对数据流的分配情况进行调整。

该处理方法进一步包括：

在将数据流分配给多个资源组中的部分或全部之后，对于每个资源组，根据对该资源组分配的数据流创建描述节点链表，链表中包括描述节点以及数据流，每个描述节点对应于该资源组分配的一数据流，每个数据流包括一个或者多个数据片段。

而且，每个资源组对被分配到该资源组的数据流进行解码处理包括：

每个资源组在各自对应的描述节点链表中提取数据流的片段，并根据系统配置参数对提取的该流的一个或者多个片段进行解码；如果解码后，本资源组的任务池为空，则继续解码该数据流后续片段；如果资源组的任务池不为空，则归还当前任务描述节点，重新获取新任务节点，重复解码工作。

根据本发明的另一个方面，提供了一种数据流处理系统，该处理系统包括多个处理器核心，该多个处理器核心对数据流进行解码处理，其中，多个处理器核心被划分为多个资源组，该处理系统包括：

分配模块，用于将数据流分配给多个资源组中的部分或全部；以及

多个资源组，每个资源组对被分配到该资源组的数据流进行解码处理。

其中，分配模块用于根据多个资源组的负荷，将数据流分配给多个资源组中的部分或全部。

此外，分配模块进一步用于对每个资源组分配一个数据流，如果仍存在未分配的数据流，分配模块则根据多个资源组的负荷将未分配的数据流分配给多个资源组，直至不存在未分配的数据流。

并且，分配模块在分配了所有数据流之后，进一步用于通过以下方式中的至少之一对已经分配的数据流的分配情况进行调整：

根据数据流的片段数量对数据流的分配情况进行调整；

根据数据流的格式对数据流的分配情况进行调整；以及

根据数据流的属性对数据流的分配情况进行调整。

本发明通过将数据流分配给多个处理核心划分得到的多个资源组中的部分或全部，并在每个资源组中对被分配到该资源组的数据流进行解码处理，从而能够对多个数据流进行并行处理，并且减少各个流的各个片段输入产生的响应延迟以及整个流的响应延迟，提高了处理效率，优化了处理器资源的使用。

附图说明