[发明专利]一种多源下载性能优化方法及装置

说明书

本发明公开一种多源下载性能优化方法及装置，该方法通过采用对云端的日志数据进行分类，按照要求找出相同类型的日志数据；对分类后的日志数据的各类测量指标进行分析对比，统计并计算得到需要的结果；对测量指标的结果综合地进行对比分析，根据不同下载的特征，设置适用的下载方案；将云端分析后得到的下载方案发送到客户端；对下载过程中实时获取的数据进行分析，得到当前下载的性能；对当前下载与已有的下载方案进行匹配，选择合适的下载方案的方法和相应的装置，解决了目前多源下载中使用较多的数据源下载的性能反而较差以及使用收费数据源下载的抛弃率更高等问题。

技术领域

本发明涉及网络内容分发技术领域，尤其涉及一种多源下载性能优化方法及装置。

背景技术

文件下载作为最基础最普适的一项网络服务已经历经几代支持技术，包括直接内容分发(C/S)、内容分发网络(CDNs)、对等网络(P2P)以及基于云的技术。但是，目前的网络基础设施并不能够满足持续增长的用户数量和数据传输数量。因此，文件下载的性能(如下载速度和下载成功率)并不尽如人意。

为了给文件下载加速，许多网络服务和内容提供商采用了目前最新的文件下载方式——多源文件下载。在多源下载中，用户(即客户端)可以通过各种各样的内容分发技术和协议同时从多个数据源中获取被请求的文件的不同部分。比如：在一个P2P文件下载系统中，客户端可以维持几十个TCP对等点连接来并发地获取被请求文件的不同的数据块。当P2P这种下载模式被延伸到 P2SP(peer-to-serverpeer)这种混合模式后，用户除了可以从对等点中获取数据块 ，还可以从专用的服务器中获取数据块。直观地来看，多源下载能够有效地改善文件(尤其是大文件)下载的性能。很多先前的研究工作也确实证明了这一点。但是随着时间的推移，现在客户端和多个数据源之间的交互变得比几年前要复杂的多。如果多源下载协议不能够被合理地设计，相比于原始的单源下载，它可能会导致更差的性能以及更高的网络和财政开销。这种现象被称为多源下载的性能异常。尽管性能异常在客户端时有发生，但是目前仍然缺乏在真实系统中全面理解这些性能异常的研究工作，更不用说指导用户和开发者来处理这些异常现象了。

为了能够全面了解多源下载中的性能异常，之前的研究工作利用大规模的工业多源下载数据深入分析了七类最常用的下载技术(即C/S，免费C/S镜像，收费C/S镜像，免费内容分发网络，收费内容分发网络，网络服务商缓存，以及对等网络)的特征。目前工业界许多流行的下载器(比如：QQ旋风，迅雷等) 中常用的多源下载流程如下：安装在客户端的下载器接收到用户的下载请求后，开始从原始的数据源中下载被请求的文件。同时，下载器的云端也会查询可用的数据源，并将找到的数据源告知客户端，使其从源链下载升级为多源下载，从而达到下载加速的目的。在下载完成后，客户端会将整个下载过程中记录的数据发送到下载器的云端。因此，利用这一过程中获取的日志数据，多源下载和源链下载的性能对比以及七类下载技术的特征可以被分析获得，并且多源下载中的性能异常现象也能被全面地分析总结。之前的研究工作发现的多源下载的性能异常主要有：文件流行度和该文件资源数量并不是完全正相关的；当下载中使用的数据源的下载时长不一致时，多源下载的下载性能往往会较差；多源下载中并不是使用越多的数据源下载其下载性能就越好；由于带宽等限制，收费的数据源往往性能会更差。为了能够理解这些异常的根本原因，研究工作中重点探索了多源下载中的一些通用测量指标(比如：下载速度，下载耗时，数据源数量，文件大小，文件流行度等)以及非常规的测量指标(比如：参与时间的多样性，抛弃率，估计的剩余下载时间等)。分析结果显示，当某次下载中某些测量指标的值明显异于其他下载中该指标的值时，其下载的性能往往并不如预期的理想性能。因此，通过实验分析，之前的工作总结出一些有效的并且实际可用的启示和结论来指导下载器的算法设计以便能够有效地处理多源下载中出现的这些异常。

发明内容

本发明的目的在于通过一种多源下载性能优化方法及装置，来解决以上背景技术部分提到的问题。

为达此目的，本发明采用以下技术方案：

一种多源下载性能优化方法，其包括如下步骤：