[发明专利]基于分布式系统的事务主机、事务从机及事务处理方法

说明书

本发明提供了一种基于分布式系统的事务主机、事务从机及事务处理方法。该事务主机的第一内存用于保存事务从机透传过来的从机文件描述符；第一中央处理器用于根据从机文件描述符，生成从机操作序列，并将从机操作序列写入第一内存；第一网卡用于从第一内存中读取从机操作序列，并将从机操作序列传输给事务从机的第二内存，由事务从机的第二DMA控制器加载从机操作序列，使事务从机的第二外部存储器控制器执行从机操作序列，从而旁路掉事务从机的中央处理器。在将事务从机的外部存储器中的数据进行迁移时，由于无需事务从机的中央处理器参与，使事务从机的中央处理器无需进行上下文切换，减少事务从机的时延，提高分布式系统的性能。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种基于分布式系统的事务主机、事务从机及事务处理方法。

背景技术

目前随着存储系统的多样化，可以提供不同应用需要的各种特性。由于业务类型是多种多样的，很难做到全面覆盖。通常存储系统使用三个性能指标：IOPS(Input/OutputOperations Per Second，每秒输入输出操作数)、Throughput(吞吐量)和Latency(时延)来测评一款存储系统。通常输入/输出(Input/Output，IO)密集应用使用吞吐量指标来评测系统性能；小IO使用IOPS指标来评测系统性能。而关于时延指标的作用在很多关键型业务中很重要。一位专家在一篇博客中详细叙述了只有在延迟小于4ms的情况下，信用卡处理器才不会减慢防诈骗或提款授权等进程。时延在核心金融、证券类应用中是必须保证的部分。

基于联机事务处理(On-Line Transaction Processing，OLTP)和联机分析处理(On-Line Analytical Processing，OLAP)的业务，对时延的要求非常高。实现高性能的关键是高IOPS和低时延的结合。当存储系统提供更高的IOPS时，单IO的时延不应同步提高过多。但是分布式的网络存储环境，却有很多限制。在本地的传统存储系统中，由于其IO路径短，时延有着天然的优势。但是采用分布式，即借助多主机进行扩展后，不可避免涉及网络、远程数据同步、业务流中断等。所以一个IO通过网络，在多个副本服务器上处理，这些操作都将增加IO的时延。时延问题也会由于多机事务相互之间进行同步业务而恶化。同步业务会导致CPU(Central Processing Unit，中央处理器)的上下文切换，导致高速缓存的清空问题。这对时延非常敏感的业务是致命的。分布式存储的副本模式对数据库性能的影响非常大，平均事务处理能力差距可达10倍。

在分布式扩展读写性能的方面，目前可以采用共享磁盘或网络DMA(DirectMemory Access，直接存储器访问)技术等，但是数据传输都需要CPU参与。目前数据库系统中常见提高可用性与性能扩展，可以采用共享存储系统。例如RAC(Real ApplicationClusters，一种数据库集群)数据库集群。数据磁盘是全局可用的。因为跨CPU同步数据，磁盘IO需要打断CPU当前任务并且非常耗时，存在性能扩展问题。实际应用中，也可采用网络DMA技术，这样在远程数据搬运过程可以直接使用网络DMA控制器，从而节省很多CPU周期。但是在数据库、即时游戏类应用数据要尽快落盘做持久化，即使采用网络DMA进行分布式数据共享，这些数据与当前的任务不相关(做分布式系统的多副本、数据库读写分离模式时的主机数据)，也会频繁打断当前的事务。这些附加的任务切换，会造成不必要的时延，降低系统的性能。

目前可以从多方面提高延迟性能，采用旁路操作系统，即利用网络DMA直接传输远端数据到本地内存，可以大幅度降低数据获取时延，并能较好降低CPU的利用率，从而提高系统并行能力。但是数据到达指定内存后，还是需要中断CPU进行必要的操作。导致CPU处理的当前其他任务会被打断，进行上下文切换，甚至会导致高速缓存驱逐到下一级或者清空，导致性能下降。

发明内容

本发明提供了一种基于分布式系统的事务主机、事务从机及事务处理方法，以减少时延，同时提高分布式系统的性能。