[发明专利]一种数据存储方法、系统、终端设备及存储介质

说明书

本发明涉及一种数据存储方法、系统、终端设备及存储介质，系统包括：文件列表文件、目录结构文件和数据存储文件；文件列表文件用于存储目录结构文件和数据存储文件的文件信息和目录根节点地址；目录结构文件和数据存储文件均包括文件头、数据区和摘要区，文件头用于存储文件信息和结构信息；摘要区用于存储对应数据区中每个簇的使用状态、每个块的数据区中已使用的有效簇数量和每个块的数据区对应的校验码；目录结构文件的数据区用于存储各文件节点的地址信息；数据存储文件的数据区用于存储各文件节点的数据信息。本发明采用以目录树形结构分文件进行存储，大大优化了查询遍历速度、缩减了存储文件大小，支持灵活全量同步。

技术领域

本发明涉及文件技术领域，尤其涉及一种数据存储方法、系统、终端设备及存储介质。

背景技术

Web应用系统现广泛应用于社交、购物、银行和邮件等重要业务线上，在网络资产中占有非常重要的地位，系统的受攻击面广和攻击技术多，导致系统易被入侵。

网络攻击者通常会利用被攻击网站中存在的漏洞，通过在网页中植入非法暗链对网页内容进行篡改等方式，进行非法牟利或者恶意商业攻击等活动。网页被恶意篡改会影响用户正常访问网页内容，还可能会导致严重的经济损失、品牌损失甚至是政治风险。

网页防篡改常见的模式有外挂轮询技术、核心内嵌技术、事件触发技术等，但都有一个核心就是预先把每个网页文件计算出哈希并存储起来，防篡改软件工作时根据需要，计算出当前网页文件的实际哈希与记录的哈希进行比较，判断文件是否被篡改。这里就需要一个存储方式可对哈希等信息进行快速可靠的存储。传统存储方式为选择数据库来存储数据，而网页防篡改因工作环境的各种因素不适宜使用mysql、mssql等网络数据库，多数使用sqlite文件数据库。虽然sqlite性能上能满足需求，但实际运用中还是存在以下两个问题。

1.sqlite是以表形式进行存储，虽然会以路径建立索引，但实际使用的时候还是表结构，这样在对所有数据进行遍历处理时并不能按实际文件目录结构进行，这无形中增加了多次查询，IO操作。

2.网页防篡改中哈希数据的都是在安全的环境中计算生成出来，然后同步给在一线工作的网页防篡改程序。这里会有两种同步的方式a.增量同步：每次仅把有变化信息同步过去，这种方式需要复杂且精细的日志管理机制，否则太容易出错；b.全量同步：把所有的哈希数据完整的进行同步，而这种方式运用在大型站点中数量会很大，常常仅更新一条数据就需要同步几百兆的数据。

发明内容

为了解决上述问题，本发明提出了一种数据存储方法、系统、终端设备及存储介质。

具体方案如下：

一种数据存储系统，包括：文件列表文件、目录结构文件和数据存储文件；

文件列表文件用于存储目录结构文件和数据存储文件的文件信息和目录根节点地址，文件信息包括文件编码、文件类型和文件校验码；

目录结构文件和数据存储文件均包括文件头、数据区和摘要区，其中：

目录结构文件的文件头用于存储目录结构文件的文件信息和结构信息；数据存储文件的文件头用于存储数据存储文件的文件信息和结构信息；其中，结构信息包括数据区有效簇总数；

目录结构文件的数据区用于存储各文件节点的地址信息，地址信息由目录地址信息和文件地址信息组成，其中：目录地址信息包括目录名的长度、目录包含的子节点的数量、目录的上级目录节点的地址、目录包含的各子节点的地址和目录名；文件地址信息包括文件名的长度、文件节点对应的父节点的地址、文件名和文件节点在数据存储文件中对应文件节点的地址；

数据存储文件的数据区用于存储各文件节点的数据信息，数据信息包括文件的校验码和文件存储路径信息；