[发明专利]一种实现信息接收后分发的流水线并行计算的方法

说明书

技术领域

本发明涉及云计算领域，尤其涉及一种实现信息接收后分发的流水线并行计算的方法。

背景技术

在现在这个信息爆炸的时代，大量的海量数据处理软件与平台涌现。传统的集中式和客户/服务器数据库系统的能力不足以支持海量数据库的查询和海量事务的处理，难以适应迅速增长的应用要求，同样我们也在进行海量数据处理平台的研发过程中，遇到了大量的挑战。在为多家大型电信运营商提供信令分析的服务过程中，要求我们需要在极短的时间内，依据信令中蕴藏的信息，同时统计与分析客户所关心的大量KPI（关键绩效指标）。其中为了充分利用现有多核、多线程的主机并行性能。在同一份信息将要被多个处理程序处理的情况下，采用流水线思路，使得多个处理程序在不对原始信息进行拷贝与不进行加锁的处理平台上，实现高性能的并行处理。

当前并行信息分发技术，要么采用复制后分别并行处理的思路，其将充分利用多核主机的处理能力，使多个处理程序能在物理CPU（中央处理器）上进行相互不干扰的并行处理；要么采用带计数器的共享指针进行待处理海量信息共享，模拟独立复制并行处理效果。在信息被最后一个处理程序处理完毕后，负责将其删除。

以上现有技术存在以下缺点：

1、对于独立复制后的并行处理技术的使用，经测试发现对大量信息的复制本身将会带来极大的性能开销。在具体的信令分析与统计项目中，一般复制数量超过5份之后其将成为处理平台的瓶颈；

2、共享指针进行并行处理，由于信息在最后一个处理程序完成处理后对其进行删除，若此时有两个处理程序同时完成，则需要对共享指针的计数器进行加锁状态下的竞竟，而加锁竞争则是妨碍实现处理并行的重要原因。

发明内容

针对上述缺点，本发明提供一种实现信息接收后分发的流水线并行计算的方法。该技术实现方案可以避免对原始信息的拷贝与销毁时的加锁串行，很好的解决信息需要被大量处理程序同时处理的要求，实现高效并行。

为达到上述目的，本发明采用如下技术方案：

一种实现信息接收后分发的流水线并行计算的方法，包括下列步骤：a) 输入的海量待处理信息经过无锁缓存队列处理；b) 处理后的信息经本单元内的单元处理逻辑器读取；c)读取完毕后的信息分发至下一个同样需要该信息的处理单元，类似的可根据信息处理需要，在此“接收后分发”链中安排若干个处理单元；d) 最终处理完的信息被销毁。

本发明的一种实现信息接收后分发的流水线并行计算的方法，其处理单元是具备独立作业能力的线程或线程组。

本发明的一种实现信息接收后分发的流水线并行计算的方法，其每个处理单元由一个无锁的缓存队列和单元处理逻辑构成。

本发明的一种实现信息接收后分发的流水线并行计算的方法，其处理单元间吞吐率存在固有差异的，使用拆分策略实现并行平衡。

本发明的一种实现信息接收后分发的流水线并行计算的方法，其拆分策略为若业务无合并要求的进行纯随机拆分；若业务有合并要求的，按业务关键字进行hash取模拆分。

与现有技术相比，本发明的有益效果是将在处理程序无加锁情况下，在同一进程空间中、在物理线程数范围内，增加处理单元程序时，系统总体处理能力具有良好的线性增长特性。对于存在吞吐率差异的处理单元，使用拆分机制可以很好的避免流水线中瓶颈出现。若使用不同进程空间或在不同主机上，本发明将非常容易实现大数据处理追求的MPP（海量并行处理）模式。

附图说明

图1是信息单元处理输出流程图。

图2是本发明的处理流程逻辑结构图。

具体实施方式

下面通过具体实施例对本发明作进一步说明。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

数据业务分析通过基于本发明的平台程序，可承载大量业务处理单元程序，进行海量实时处理。在大规模部署，进行信息固定时间窗口分组统计的情况下，经由以下步骤：a) 输入的海量待处理信息经过无锁缓存队列处理；b) 处理后的信息经本单元内的单元处理逻辑器读取；c)读取完毕后的信息分发至下一个同样需要该信息的处理单元，类似的可根据信息处理需要，在此“接收后分发”链中安排若干个处理单元；d) 最终处理完的信息被销毁。