[发明专利]一种基于内存分配的多线程上传优化方法

说明书

本发明公开了一种基于内存分配的多线程上传优化方法，包括步骤：1)获取当前操作用户的基础数据；2)利用获取的信息对上传请求进行预处理；3)根据上传文件大小判断是否需要切片多线程上传；4)利用服务器当前空闲内存情况，将上传文件的临时文件存放到指定的缓存位置；5)记录上传文件的元数据信息到数据库；6)将缓存中的临时文件写入文件最终需要存放的磁盘位置。本发明从业务逻辑与服务器内存管理两方面出发，通过客户端和服务器端协同合作，在网络条件较差时具有较高的上传成功率，同时支持断点续传功能，提升客户端的上传速率与服务器的带宽利用率。

技术领域

本发明涉及互联网和内存管理的技术领域，尤其是指一种基于内存分配的多线程上传优化方法。

背景技术

近年来，移动互联网技术的不断发展，越来越多的企业开始上云服务，提供SaaS服务。不管是商品流通类，信息内容服务类还是社交类的企业，都有大量的数据需要上传存储到云端服务器。市场调研机构IDC分析报告指出，2017年全球的数据总量为21.6ZB,目前全球数据的增长速度在每年40％左右，预计到2020年全球的数据总量将达到40ZB。

随着信息化办公与协同办公的普及以及数据爆炸式的增长，工作科研中越来越多的企业和学校使用云存储来进行文件传输与共享，极大的提高了工作效率。各种企业网盘应运而生，中国企业网盘市场占比较高的有联想企业网盘、够快云库、坚果云、有道云协作和亿方云等，但是他们都更多的针对存储的安全性和高效性，关注的是存储数据的本身，在用户权限的细粒度分级管理以及企业组织架构的多级管理方面并不突出。Weblib存储平台是广东计算机网络重点实验室与数园网络有限公司联合开发的企业级存储系统，在用户与文件资源的细粒度权限管理方面有细致的设计，支持更加丰富的资源数据共享，已经在多个学校和企业应用。

文件上传的实质是将本地文件通过网络I/O传送到服务器，服务器接收相应的数据存储到临时目录，进行一系列的业务检查操作之后将临时目录中的数据存储到指定的位置。缓冲区主要是针对内存和硬盘读写速度不匹配而设立的。当传输文件时,为了提高文件存储的效率,接收数据的Socket端并不是接收到一个文件数据块就写磁盘,而是将数据缓存在这个Buffer中,当Buffer中达到一定数量的写满时,再由统一的读线程将Buffer中的数据写到磁盘中,这样能达到文件的最大传输速度。上传文件的临时目录一般都是指定的硬盘位置，文件数据块在从网络I/O流传输过来，到最终写入到相应的存储硬盘位置，会有一定的性能损失。传统的业界提高上传速率的方法大多数是基于多线程上传或者从网络层面加以扩展，很少有从上传流程中的内存管理方面进行优化的。

近年来，随着服务器的可用内存都越来越大以及多核CPU的快速发展，内存计算得到了越来越多的关注。本文使用服务器的空闲内存来加速文件的上传处理速率，在客户端将文件分片处理，并行上传到服务器，通过设置临时目录为tmpfs，将上传文件的数据块存储在内存中而不再存入磁盘，避免了流程中过多的I/O操作，减少开销，提高系统的响应速率。

在文件上传优化方面的研究大多是基于网络架构或者是缓存设置进行优化的，第一类是从网络层面出发分析研究问题，提出一系列网络加速的方法；第二类是根据系统的配置进行缓存的优化调整。在利用缓存方面，Negin Golrezaei等人提出利用分布式缓存帮助来处理无线移动设备中对视频内容持续增长的上传下载需求；Xiaowei Qin等针对无线上传服务中的缓存问题提出了一种自适应的加速上传机制，可以动态计算缓存的重要性；Chang C利用线性最优化方法对对等网络中的上传下载进行了相应的优化。他们的研究的大多是无线网络场景或者是对等网络中的优化方法，而没有从业务控制方面或者是I/O流的存储优化方面进行过多的研究或者优化。

本发明提供一种基于内存分配的多线程上传优化方法，将从业务逻辑与服务器内存管理两方面出发，通过客户端和服务器端协同合作，提升客户端的上传速率与服务器的带宽利用率。

发明内容