[发明专利]用于静态分布式计算架构的数据交换系统及其方法

说明书

本发明公开了一种用于静态分布式计算架构的跨计算数据交换系统，所述静态分布式计算架构至少含有第一计算设备和第二计算设备，所述系统包括多个数据执行体、部署在每台计算机上的一个数据搬运请求汇集组件以及消息传输总线，其中第二计算设备上的第二数据执行体从其消息仓向第一计算设备上的第一搬运执行体发出指明可以读取数据的第二消息；第一搬运执行体在接收到所述第二消息时，其有限状态机改变状态以触发操作组件向第一数据搬运请求汇集组件发出执行读取数据的操作的第一命令；以及第一数据搬运请求汇集组件在接收到第一命令后，基于第一命令中所包含的读取描述，将第二输出数据缓存中的数据搬运到第一搬运执行体的第一输出数据缓存中。

技术领域

本公开涉及一种数据交换技术，更具体地说，本公开涉及一种用于静态分布式架构中实现数据交换的系统及其方法。

背景技术

随着分布式计算的普及，大型的作业会通过分割而将不同部分的数据部署到不同的分布式数据处理系统的各个计算设备上进行处理，这样，在具体作业的处理过程中，部署在一个计算设备上的计算中间参数或结果会成为另一个计算设备上的计算任务的输入数据，这样为了实现中间参数的数据同步，这会引起计算设备之间的数据传输的调用开销。而网络通信调用往往是个瓶颈，然后网络性能通信的性能不好，就会影响多机分布式数据处理架构的加速比和扩展性。

随着数据搬运或数据交换在静态分布式数据处理架构中与数据运算一样被重视，因此在一些静态分布式架构中，将数据搬运任务固定在特定的搬运执行体中来实现，从而使得数据搬运操作与运算操作能够同等重要，从而实现数据交换中的异步的通信，从而减少两个调用的时间的开销。但是如何在静态分布式架构中预先将搬运过程配置为任务节点的情况下实现设备间的数据搬运就成为需要解决的一个问题。

发明内容

本发明的目的是解决至少上述问题之一，具体而言，本公开提供一种用于静态分布式计算架构的跨计算数据交换系统，所述静态分布式计算架构至少含有第一计算设备和第二计算设备，所述系统包括多个含有消息仓、状态机组件、操作组件以及输出数据缓存的数据执行体、部署在每台计算机上的一个数据搬运请求汇集组件以及消息传输总线，其中第二计算设备上的第二数据执行体在其第二输出数据缓存已经被写入新数据时从其消息仓向第一计算设备上的第一搬运执行体发出指明可以读取第二输出数据缓存中的数据的第二消息；第一计算设备上的第一搬运执行体在经由第二计算机上的第二消息传输总线和第二数据搬运请求汇集组件以及第一计算设备上的第一数据搬运请求汇集组件和第一消息传输总线接收到所述第二消息时，其有限状态机改变状态以触发操作组件向第一数据搬运请求汇集组件发出执行读取第二输出数据缓存中的数据的操作的第一命令；以及第一数据搬运请求汇集组件在接收到第一搬运执行体的第一命令后，基于第一命令中所包含的读取描述，采用直接远程数据访问协议直接读取第二输出数据缓存中的数据并存储到第一搬运执行体的第一输出数据缓存中或者采用以太网协议请求第二数据搬运请求汇集组件读取第二输出数据缓存中的数据并接收第二数据搬运请求汇集组件发送来的数据以便存储到第一搬运执行体的第一输出数据缓存中。

根据公开的用于静态分布式计算架构的数据交换系统，其中所述第一数据搬运请求汇集组件包括：请求描述队列管理单元，用于在计算架构初始化时针对存在通信连接关系的第一计算设备和第二计算设备生成一个或多个第一请求描述队列；数据读取单元，基于第一搬运执行体的发出第一命令，将第一命令中的读取描述插入与第一搬运执行体对应的第一请求描述队列；以及回调任务单元，基于第一搬运执行体的发出第一命令，第一请求描述队列中的所述读取描述之后插入一个或多个读取回调描述，并所述读取回调描述在出队时被执行。

根据公开的用于静态分布式计算架构的数据交换系统，其中所述第一数据搬运请求汇集组件的数据通信单元基于所述请求描述队列管理单元中的请求描述队列中的每个读取描述，采用第一计算设备和第二计算设备之间的直接远程数据访问协议直接读取第二输出数据缓存中的数据并存储到第一搬运执行体的第一输出数据缓存中。