[发明专利]一种多处理器系统及其同步引擎

说明书

技术领域

本发明涉及并行程序数据处理技术领域，特别是涉及一种多处理器系统及其同步引擎。

背景技术

在并行程序中，多个进程/线程(以下统称进程)并行协同工作，完成处理任务。多个进程在其运行周期中，需要使用同步原语来实现多个进程之间的同步。同步原语是保证并行程序正确性的关键原语。并行程序中常用的具有同步含义的原语有Lock和Barrier。图1是并行程序中使用Barrier同步原语实现读写次序的例子示意图，如图1所示，同步原语Barrier可以保证进程P2在读取变量A的值时，读到的值一定是进程P1写入的值。Lock原语在科学计算中一般是用来保证多个进程之间对某种资源的互斥访问。它的实现一般依赖于处理器提供的特殊指令来实现，比如典型的LL/SC指令。

除了Barrier和Lock这种只包含同步含义的原语以外，在并行程序中还有其他一些常用的，隐含同步的原语，如Reduce或者All-Reduce原语。Reduce原语可以简单地表示为Reduce(Root，A_i，Op，Com)，其中Root表示这次Reduce运算的根进程；A_i表示进程i参与Reduce的源数据；Op表示Reduce的运算模式，常见的有“加”、“减”、“最大”、“最小”等；Com表示参与这个Reduce的进程的集合。Reduce(Root，A_i，Op，Com)的含义如下：在集合Com内的每个进程i的数据A_i，均使用Op模式进行运算，并把运算结果返回至Root。在这个Reduce运算中，隐含了Com集合中所有进程和Root进程的同步关系，即Root进程必须在所有Com集合内的进程到达某个时间点之后，才能获得最终的运算结果，并且在实现同步的同时，也实现了数据在进程间的移动。All-Reduce与Reduce的区别仅仅在于最后的计算结果是广播到Com内所有进程，而不仅仅是Root。在下文中除了特别说明，All-Reduce和Reduce都统称Reduce。

现有技术中使用软件实现上述同步原语具有较好的灵活性，但是执行效率较低，主要体现在启动开销大，执行速度慢，进程间通信次数多。比如软件实现的Barrier可以用类似于计数器的方法，使用一个共享内存的计数器A，A被Root进程初始化为0，然后每个参与Barrier的进程都执行A＝A+1的操作，然后不断在循环中读取A的值，当A的值等于参与Barrier的进程总数的时候，即表明所有进程都达到了同步。这种软件实现的方法有两个问题，一个是在执行A＝A+1的时候，由于A是共享的，可能被多个进程同时操作，因此每个进程都要保证自己的操作是原子操作，因此需要用或者是锁技术，或者是锁内存总线的方法来保证原子操作，而这些操作都是很费时，并且影响处理器性能的操作；另外一个问题在于各个进程在循环中读取A的值，由于A是分配在某个处理器的内存上的，在多处理器的环境下，如果多处理器间有Cache一致性保证，会导致大量的Cache一致性控制信息在处理器间交换；如果没有Cache一致性保证，循环读取A值的时候会引起大量的远程Load操作，无论哪种情况都会导致多处理器的通信带宽被大量占用，从而影响系统性能。

一种软件实现的Reduce算法与上述Barrier类似，除了计算是否所有进程都达到同步点以外，还要对各个进程的数据进行计算，计算的结果存放在共享内存的变量Value中。假设进程0的数据为Value0，进程1的数据为Value1…进程N的数据为ValueN。Root进程根据Reduce的操作类型初始化Value，比如Reduce的操作类型是“最大”，则把Value初始化为计算机能够表示的最小值，然后每个进程n进行如下操作：

if(Value n大于Value)

Value＝Value n；

同样的，每个进程需要保证上述操作的原子性，这样当所有进程都通过Barrier所述的计数器A判断完成计算后，Value的最终值就是所有进程的数据中最大的的那个值，每个进程就可以读取Value的值了，也就是完成了操作类型为“最大”的Reduce。

与Barrier类似的，软件实现多个处理器间的Reduce，Lock操作也有类型问题。虽然软件使用一些改进算法可以减少上述的缺点，但是仍然不能从根本上解决问题，仍然存在执行次数慢，消耗处理器执行资源等问题。

发明内容