[发明专利]基于关系数据库处理小文件数据并发读写方法及装置

说明书

本申请提供了一种基于关系数据库处理小文件数据并发读写方法及装置，涉及数据文件存储领域，可应用于金融领域和其他领域，所述方法包含：根据接收到的存入报文数据解析获得业务数据和影像文件数据；通过所述业务数据生成批次实体，通过所述批次实体将所述影像文件数据中多个影像小文件定位到对应的大文件或数据库BLOB字段分区中存储并记录影像小文件的存入信息；根据所述存入信息和所述影像小文件的影像描述信息生成对应的影像属性信息，根据所述影像属性信息生成对应的影像属性实体；将所述影像属性实体与所述批次实体关联存储后，通过所述批次实体生成写入结果。

技术领域

本申请涉及数据文件存储领域，可应用于金融领域和其他领域，尤指一种基于关系数据库处理小文件数据并发读写方法及装置。

背景技术

在银行系统中，每天发生数以万计的交易，这些交易产生的纸质凭据一般会以扫描的形式形成计算机系统中的影像文件(下称扫描件)保存在后台的存储服务中。由于每天的交易量巨大，每笔交易都产生数个扫描件，因此日积月累下来产生了巨大数量的文件存储需求。为了节省存储空间，每个扫描件都被压缩为20KB到2MB不等的小文件，从文件个数上来看这些小文件的个数达到几十亿乃至几百亿个，从占用空间上来看这些小文件占用的空间大小达到数千TB的级别，此类大小和数量的文件的全体被称为海量小文件。

海量小文件要求银行系统具有强大的存储空间管理能力，而且海量的小文件会同时被数百数千个柜员持续的访问，形成了对海量小文件的高并发访问，严重影响银行系统性能。每个柜员访问海量小文件存在一定的原则，一般以几个小文件形成一个集合为单位进行访问，对集合中的元素进行增删改查等操作。例如，一个客户的资料可以形成一个集合：新增一个客户的档案时，柜员会将该客户的证件、开户合同等资料扫描形成的小文件放在同一个集合中提交到存储服务；后续该客户发生交易时，柜员会从存储服务中查询相应的文件集合来核实客户的身份；当客户的资料发生变化后，柜员扫描资料中发生变化的部分来更新相应的文件集合；该客户销户之后，柜员就可删除相应的文件集合。又例如，一次贷款交易产生的凭证扫描件也可形成一个文件集合，客户申请贷款时柜员将客户资料扫描后新增一个文件集合，贷款审批时审批柜员的对材料进行盖章后需要重新对盖章的材料进行扫描，然后用新的扫描件更新该文件集合，贷款申请审核通过且贷款发放后，风险监控柜员可查询该文件集合来核实贷款的情况，监督是否有风险等。

银行系统处理海量小文件的需求大概如上文所述：一要具有巨大的存储空间管理能力；二要提供庞大的数据吞吐能力；三要提供以集合为单位访问小文件的能力，可以对集合进行新增、修改、查询、删除。而目前银行系统使用普通办法去满足上述的需求，将海量小文件直接保存在操作系统上，而一般的操作系统对海量小文件的支持能力有限，随着文件数量的增加，逐渐暴露以下三个缺点：

一是单个文件目录下的子文件数量不能太多，多了会影响访问性能，例如要从一个包含2万个子文件的目录中检索出需要用到的文件集合，其响应时间就会比较长；

二是操作系统的可打开的文件个数有一定限制，一个操作系统打开的文件个数太多，就会出现响应缓慢、甚至拒绝服务、乃至系统崩溃的异常情况；

三是对操作系统中的文件进行并发读写时，文件读写的性能极低，所有进程读或写的带宽总和最大只能为1MB/秒左右，即使磁盘带宽有100MB/秒，也是如此。如果一个小文件大小为20K字节，10个进程同时往单个操作系统写不同的文件，则每个进程1秒钟最多只能写5个文件。

随着社会经济活动量的增长，银行的业务量越来越大，对银行交易的处理效率要求越来越高，如果还继续停留在上述的办法上处理海量小文件，就会造成文件访问缓慢，从而导致交易缓慢，严重影响系统效率。

发明内容

本申请目的在于提供一种基于关系数据库处理小文件数据并发读写方法及装置，予以满足上述的银行系统处理海量小文件的需求，又能克服现有操作系统对海量小文件数据并发读写支持的不足。