[发明专利]一种在多节点上传递数据方法及系统

说明书

技术领域

本发明涉及数据库领域，特别是涉及一种在多节点上传递数据方法及系统。

背景技术

预写式日志(Write-Ahead Logging，WAL)是一种实现事务日志的标准方法，WAL的中心思想是对数据文件的修改(它们是表和索引的载体)必须是只能发生在这些修改已经记录了日志之后一也就是说，在日志记录冲刷到永久存储器之后。如果遵循这个过程，那么就不需要在每次事务提交的时候都把数据页冲刷到磁盘，因为在出现崩溃的情况下，可以用日志来恢复数据库：任何尚未附加到数据页的记录都将先从日志记录中重做(这叫向前滚动恢复，也叫做REDO日志)，然后那些未提交的事务做的修改将被从数据页中删除(这叫向后滚动恢复，也叫做UNDO日志)。

使用WAL的第一个明显的好处就是显著地减少了磁盘写的次数，因为在日志提交的时候只有日志文件需要flush到磁盘上；在多用户环境里，许多事务的提交可以用日志文件的一次fsync()来完成。而且，日志文件是顺序写入磁盘的，而数据文件往往是在文件中间进行修改，因此同步日志的开销要远比同步数据页的开销要小。

使用WAL的另外一个好处就是数据页的完整性。无论是商业数据库、还是常用的开源数据库如MySQL、PostgreSQL等等，在使用WAL原理之前，从来不能保证在崩溃的情况下数据页的完整性。

在使用WAL之前，在写的过程中的任何崩溃都可能导致：

索引记录指向一个不存在的表的行。或者，索引记录在分裂操作中丢失。或者，完全崩溃了的表和索引页的内容，因为数据页只写了一部分。

索引记录指向一个不存在的表的行；或者，索引记录在分裂操作中丢失可能已经通过额外的fsync()调用修补好了，但是如果没有WAL，那么没有有效地处理第三种情况即完全崩溃了的表和索引页的内容，因为数据页只写了一部分这种情况的方法。WAL在日志里保存整个数据页的内容一如果那些内容在崩溃后的恢复中需要确保数据页的完整性的话。

WAL还提供了数据库在线备份和恢复(backup and restore(BAR))的新方法。要使用这个方法，我们可能要经常性地把数据文件保存到另外一个磁盘、磁带或者另外一台主机并且还要备份WAL日志文件。那么数据库文件拷贝和日志归档文件就可以用于像灾难恢复中那样恢复数据。每次做完新数据库文件以后，这个老的日志文件就可以删除了。实现这个设施可能需要记录数据文件和索引创建和删除的日志；同时还需要开发一种方法来拷贝数据文件(操作系统拷贝命令是不合适的)。

困难是要求在相当可观的时间段内保存WAL日志(也就是说，如果需要事务的UNDO，那么和可能的最长的事务的时间一样长)。目前数据库使用的WAL格式的体积相当大，因为它包括多个磁盘页的镜像。目前这还不是一个严重的问题，因为这些日志只需要保留一到两个检查点的时间间隔；但是为了实现这些东西，以后我们可能需要某种压缩的WAL格式。

现有方法：Oracle TimesTen数据复制解决方案。

专用于0racle TimesTen内存数据库的解决方案，包括下面几种形式：

方式1：1 Active Master+1 Standby Master+n Read Only Subscriber：

在这种方式下，Active Master Database是可读写的，而Standby MasterDatabase是只读的；Standby Master Database接收到Active Master Database上数据的变化后，在其自身进行相应的修改，之后再将变化通知到后续的Read0nly Subscribers。

在这种方式下，Standby Master Database始终领先于后续的Read OnlySubscribers，当Active Master Database出现故障时，Standby MasterDatabase能够很快的进行接管。

方式2：1 Active Master+n Standby Master+n*m Read Only Subscriber：

方式2实质上是方式1的扩展，Propagators接收Master的数据变化后，更新自身并将变化传递给后续的Subscribers。

方式2带来了几个明显的劣势：