[发明专利]一种数据库与对象存储的事务一致性处理方法及系统

说明书

本发明公开了一种数据库与对象存储的事务一致性处理方法及系统，其中，该方法包括：获取交易的数据文件及文件元数据信息；在柔性事务表中记录数据文件存储信息；将数据文件上传至对象存储的位置；若上传数据文件失败，返回交易失败信息；若上传数据文件成功，继续执行数据库事务，将对应的文件元数据信息记录至数据库数据表，并删除柔性事务表中数据文件对应的数据文件存储信息；若数据库事务执行成功，返回交易成功信息；若执行失败，返回交易失败信息；定时读取柔性事务表中的数据文件存储信息；在对象存储中批量查找对应的数据文件并进行删除；在删除数据文件成功或在对象存储中未查找到相应数据文件时，将柔性事务表中记录的信息进行删除。

技术领域

本发明涉及数据库技术领域，尤指一种数据库与对象存储的事务一致性处理方法及系统。

背景技术

在IT系统设计和建设过程中，技术人员需要保证用户单次交易的原子性，即用户单次交易可能涉及多次数据库操作，需要保证如果交易成功，所有数据库操作全部成功，如果交易失败，不管交易进行到哪一步，都需要保证本次操作所有数据库操作全部回退至操作前的状态。现有成熟的商用数据库产品通常可以使用自带的机制保障用户单次交易所有数据库操作的事务一致性。

但是，对于分布式影像管理平台来说，用户单次上传影像包括元数据和影像文件两部分，元数据存储在数据库中，影像文件存储在对象存储中。按照业务规则，要求用户在上传影像时，如果交易成功，则数据库中必须存在该影像的元数据信息，对象存储中必须存在该影像文件；而对于影像修改和删除交易，必须保证存储在数据库中的元数据和存储在对象存储中的影像文件必须同时修改、删除成功或同时修改、删除失败。

基于上述分布式影像管理平台，目前常用的保证多种存储中事务一致性的方法多为失败后重试或进行反向操作的方式来实现，具体流程为：用户一次上传影像操作需上传影像文件和影像元数据信息，应用程序校验无误后先将影像元数据信息插入数据库，完成一次数据库事务，再将影像文件上传至对象存储中，如果上传成功，则交易完成，但如果上传影像文件至对象存储失败，则需对已经插入数据库中的元数据信息进行删除操作。或者先上传影像文件至对象存储，再将影像元数据信息插入数据库，如果插入数据库失败，则将对象存储中刚刚上传的影像文件删除。

这种方法无法严格保证事务的一致性，例如先将影像元数据信息插入数据库，再将影像文件上传至对象存储的操作流程中，如果长传影像文件至临时存储失败，再去删除数据库元数据信息时，可能出现删除失败的情况，从而导致数据库中存在垃圾数据，反之亦然，如果先上传影像至对象存储再将元数据信息插入数据库，如果插入数据库失败后尝试删除对象存储中影像文件，可能导致影像文件删除失败从而产生垃圾文件。

综上来看，仅依靠数据库原有的事务机制无法保证数据库和对象存储的事务一致性，因此，亟需通过一种新的方式保证其事务一致性。

发明内容

为解决上述问题，本发明提出了一种数据库与对象存储的事务一致性处理方法及系统；主要针对现有技术中，通过数据库及对象存储的机制，无法保证一次用户交易在数据库与对象存储间的事务一致性，本发明的方法及系统通过将两个事务转化为同一个数据库事务，再通过异步补偿机制从数据库中读取待补偿事务信息，调用对象存储相关服务，完成对数据文件的相关操作，保证数据库与对象存储的事务一致性。

在本发明实施例的第一方面，提出了一种数据库与对象存储的事务一致性处理方法，该方法包括：

获取交易的数据文件及文件元数据信息；

在柔性事务表中记录数据文件存储信息；

将所述数据文件上传至对象存储的位置；其中，

若上传数据文件失败，返回交易失败信息；