[发明专利]一种数据写入方法、装置、设备及存储介质

说明书

本发明公开了一种数据写入方法，该方法包括以下步骤：在接收到用户针对目标数据的写入请求时，根据目标数据的大小，确定目标数据是否为非对齐写数据；如果是，则将目标数据的写入日志写入到预设日志区；在写入完成后，将目标数据放入到数据盘写队列中，以写入到数据盘中。应用本发明实施例所提供的技术方案，先将非对齐写数据记录到日志区，然后再将数据刷到后台，没有将非对齐写数据记录到数据库中，减少了对数据库的过度使用，在一定程度上可以缓解数据库的写入放大问题，提高了数据写入效率，提升了分布式系统整体性能。本发明还公开了一种数据写入装置、设备及存储介质，具有相应技术效果。

技术领域

本发明涉及计算机应用技术领域，特别是涉及一种数据写入方法、装置、设备及存储介质。

背景技术

随着计算机技术的快速发展，分布式系统的应用越来越广泛。在分布式系统中，元数据记录在kv(key-value，键值)数据库，如rocksDB中。数据库中记录的数据分为三类：一类是对象的布局信息，一类是对象的属性信息，一类是写入的数据信息。其中，对象的布局信息和对象的属性信息标明了对象在本地节点的大小、属性、以及磁盘的分布。写入的数据信息标明了用户对此对象的操作。为了使用户的每一次对文件的操作都是完整的、可靠的，需要在本地节点上对用户要操作的对象进行保护，使得在用户操作的过程中，若发生节点故障之类的问题，系统重新恢复正常后，用户仍然能够继续操作，或得到期望的操作结果。

目前，在用户的IO请求到达时，先把IO请求记录到数据库中(元数据+数据)，然后，由后台提交到真正的地方。这种实现方式也就是传统的数据写入处理方式。使用这种方式，可以保证每一次操作的ACID特性，使用户获取到期望的数据。ACID为数据库事务正确执行的四个基本要素的缩写，包含：原子性(Atomicity)、一致性(Consistency)、隔离性(Isolation)、持久性(Durability)。

当用户的IO请求到达时，除了要记录相应的元数据外，还需要把数据记录到数据库中，若数据是对齐写(每次存储的最小一致性单元，由分布式系统设定)数据，则可以先把数据写到新的位置，然后修改元数据中的对象布局信息，若数据是非对齐写数据，则先把要写的数据记录到数据库，然后把数据从从后台刷到对应的位置。若数据既有对齐写的数据，又有非对齐写的数据，则需要把此次写分解为对齐写和非对齐写，非对齐写的数据记录到数据库，对齐写的数据写到磁盘，写完后，将两种IO合并记录到数据库，再进行后台刷新。当操作过程中发生故障重启后，会先从数据库读出需要应用的数据，将数据应用到对应的地方，应用完成后，节点开始提供业务。

在上述流程中，存在一些问题：所有的数据都是以事务ID的形式串行执行的，对齐写的数据会直接写到数据盘(HDD)上，而非对齐写的数据先写到数据库(一般部署在SSD)上，然后再应用到HDD上，需要等对齐写完成，才会记录到数据库。由于事务需要串行执行，而SSD的读写性能比HDD的读写性能要快，所以，这样的处理方式有可能会造成IO请求的阻塞，从而造成性能的降低，同时，由于kv数据库本身有着比较严重的写放大的特征，频繁的进行非对齐写的数据的写入，也会造成数据库性能的降低，延长给用户的响应时间。

发明内容

本发明的目的是提供一种数据写入方法、装置、设备及存储介质，以减少对数据库的过度使用，使得数据库固有的写入放大问题得到缓解，提高数据写入效率，提升分布式系统整体性能。

为解决上述技术问题，本发明提供如下技术方案：

一种数据写入方法，包括：

接收用户针对目标数据的写入请求；

根据所述目标数据的大小，确定所述目标数据是否为非对齐写数据；

如果是，则将所述目标数据的写入日志写入到预设日志区；

在写入完成后，将所述目标数据放入到数据盘写队列中，以写入到数据盘中。

在本发明的一种具体实施方式中，还包括：