[发明专利]上传文件的存储方法及装置

说明书

本申请公开了一种上传文件的存储方法及装置，所述方法包括：获取上传文件的文件数据；将文件数据划分为至少一个数据块；当确定文件数据划分出的第一个数据块后，将划分出的数据块存储至内存的同一队列中；当将第一个数据块存储至队列后，依次读取队列中的数据块，并将读取的数据块写入磁盘中的备份文件；在队列中删除读取的数据块。在本申请中，将文件数据划分为数据块，并将数据块以队列的形式存储在内存中，在存储数据块的同时，读取队列中的数据块，并执行写入操作和删除操作。避免了内存被长时间占用，能够提高网络设备的运行效率；而且，由于无需将文件数据全部存储至内存，因此能够备份数据量大的上传文件。

技术领域

本申请涉及互联网技术领域，特别涉及一种上传文件的存储方法及装置。

背景技术

随着云计算技术的发展，在云计算技术的基础上延伸出云存储系统的概念，云存储系统是指利用集群应用、网络、分布式软件等技术，将网络中大量服务器通过软件结合起来协同工作，共同对外提供数据存储和业务访问功能的系统，具备安全、低成本、高可靠性等特点。例如，将电脑中的数据上传到网络硬盘。越来越多的公司在日常工作中，要求工作人员将的文件资料等工作数据存入网络硬盘，以防止因为电脑出现意外造成的文件丢失。同时，为了公司的信息安全，会通过网络设备，如网关，备份记录上传到网盘的文件资料，从而能够管理、审计员工使用网盘的行为，确保信息安全。

在现有技术中，用户向网络硬盘上传文件时，能够留存及还原上传文件的网络设备在自身传输的数据区块中，识别出上传文件的数据区块。网络设备再将上传文件的全部数据缓存在自身的内存中。当缓存完成后，网络设备将上传文件的全部数据写入磁盘，还原生成上传文件。

由于现有技术需要将上传文件的全部数据先缓存到内存中，再写入磁盘，导致有限的内存空间被长时间占用，阻碍网络设备的其它进程使用内存，降低了网络设备的运行效率；而且，由于内存的存储空间通常较小，因此无法留存及还原数据量大的上传文件。

发明内容

本申请提供一种上传文件的存储方法及装置，可用于解决在现有技术中因将上传文件的全部数据先缓存到内存中，再写入磁盘，导致有限的内存空间被长时间占用，阻碍网络设备的其它进程使用内存，降低了网络设备的运行效率；以及，由于内存的存储空间通常较小，因此无法留存及还原数据量大的上传文件的问题。

第一方面，本申请提供一种上传文件的存储方法，所述方法包括：

获取上传文件的数据区块，所述数据区块包括所述上传文件的文件数据；

将所述文件数据划分为至少一个数据块；

当确定所述文件数据划分出的第一个数据块后，将划分出的数据块存储至内存的同一队列中；

当将所述第一个数据块存储至所述队列后，依次读取所述队列中的数据块，并将读取的数据块写入磁盘中的备份文件，所述备份文件为所述上传文件的复制文件；

在所述队列中删除所述读取的数据块。

可选地，所述数据区块还包括所述上传文件的文件信息，所述文件信息用于唯一指示一个上传文件，并且携带在所述队列的数据块中；

所述将读取的数据块写入磁盘中的备份文件之前，还包括：

根据所述文件信息，检测所述磁盘中是否存储有所述备份文件；

若没有所述备份文件，则创建所述备份文件，所述备份文件的文件名为所述文件信息。

可选地，所述将所述文件数据划分为至少一个数据块之后，还包括：

确定每个数据块相对于所述文件数据的起始位置的偏移值，所述文件数据的起始位置是指所述文件数据的在所述上传文件中的第一个字节的位置；

将所述偏移值添加至对应的数据块中。