[发明专利]一种文件存储方法及装置

说明书

本申请提供了一种文件存储方法及装置。其中，该方法包括：将每份任务文件复制为两份任务文件，将两份任务文件分别并行写入NAS和OSS；对比NAS和OSS中存储的每份任务文件是否完全一致；如果在指定时长内对比结果均为完全一致，则将后续任务文件均写入OSS。本申请提供的文件存储方法及装置，舍去传统NAS而选用OSS作为任务文件的存储系统，大大提升了文件读写的性能，同时提升了存储系统的可靠性。本申请使用OSS来存储任务文件，执行速率能够得到大幅度提高，并发情况下性能可以得到保障。本申请为了安全的从NAS平滑过渡到OSS，采用了任务双写、文件对比的方式，以保证两套存储环境下产出文件的可靠性和正确性。

技术领域

本申请属于互联网技术领域，尤其涉及一种文件存储方法及装置。

背景技术

NAS(Network Attached Storage，网络存储器)是一种专用数据存储服务器，以数据为中心将存储设备与服务器彻底分离，集中管理数据，从而释放带宽、提高性能。

NAS主要存在以下几个缺点：

(1)受限于硬件可靠性，易出问题。一旦出现磁盘坏道，容易出现不可逆转的数据丢失。人工数据恢复困难，且耗时耗力；

(2)价格昂贵，安全机制需要单独实现，开发和维护成本高；

(3)并发访问量大时，读写性能会急剧下降。

随着余额宝等互联网理财业务的发展，业务量和用户量越来越大，NAS作为一个基于unix系统的存储服务器，承载了越来越大的数据访问和写入，导致任务文件执行时并发严重，效率低缓，且经常会遇到一些不可预知的异常情况，影响了文件产出的稳定性。余额宝文件处理的时间变得越来越长，这将大大影响到一些实效性较强的业务，例如余额宝收益的发放。

针对NAS在数据存储性能方面的上述缺陷，目前尚未提出有效的解决方案。

发明内容

本申请目的在于提供一种文件存储方法及装置，可以将NAS上的数据平滑迁移至OSS，从而提高文件执行速度，降低成本，使得并发情况下文件读写性能得到有效保障。

本申请提供一种文件存储方法及装置是这样实现的：

一种文件存储方法，所述方法包括：将每份任务文件复制为两份任务文件，将所述两份任务文件分别并行写入NAS和OSS；对比所述NAS和所述OSS中存储的每份任务文件是否完全一致；如果在指定时长内对比结果均为完全一致，则将后续任务文件均写入所述OSS。

一种文件存储装置，所述装置包括：并行写入单元，用于将每份任务文件复制为两份任务文件，将两份任务文件分别并行写入NAS和OSS；对比单元，用于对比所述NAS和所述OSS中存储的每份任务文件是否完全一致；存储单元，用于在指定时长内对比结果均为完全一致的情况下，将后续任务文件均写入所述OSS。

本申请提供的文件存储方法及装置，舍去传统NAS而选用OSS作为任务文件的存储系统，大大提升了文件读写的性能，同时提升了存储系统的可靠性。OSS(Object StorageService，对象存储器)属于一种海量、安全和高可靠的云存储服务，其存储容量和处理能力的弹性扩展使客户可以专注于核心业务。还可以同其他云产品搭配使用。OSS广泛的应用于海量数据存储与备份，数据加工与处理，内容加速分发，业务数据挖掘分析等多种业务场景。本申请使用OSS来存储任务文件，执行速率能够得到大幅度提高，并发情况下性能可以得到保障。本申请为了安全的从NAS平滑过渡到OSS，采用了任务双写、文件对比的方式，以保证两套存储环境下产出文件的可靠性和正确性。

附图说明