[发明专利]面向大规模AI数据流处理的集群汇集通信系统

说明书

本发明涉及一种面向大规模AI数据流处理的集群汇集通信系统，运用统一的流配置和路由机制，屏蔽了应用程序对内网节点、汇集节点、GPU计算节点、外部传感节点的物理地址信息，只需按照功能类别和流的名字编写通信应用，大大地降低了应用的复杂度；基于组确认通信机制，大大减少了通信确认而造成的额外开销，实现了大规模并发数据流的可靠通信，克服了基于连接的可靠通信机制耗费通信资源的弱点，大大提高了并行通信的效率；采用动态配置机制，可灵活分配传感节点、汇集节点、GPU计算节点的网络关系和网络拓扑结构，适应性强；汇集并发AI数据流提交GPU计算，充分发挥了GPU计算的SPMD优势；汇集并发数据流，充分利用DMA通信机制，大大提高了通信效率。

技术领域

本发明涉及一种数据处理技术，特别涉及一种面向大规模AI数据流处理的集群汇集通信系统。

背景技术

随着物联网技术和人工智能技术的飞速发展，相应的复合应用已经在各个领域展开，特别是基于视频和传感数据流的实时分析技术应用已经成为热点。例如，大规模视频监控用于公交系统拥挤度实时分析、用于大社区范围的养老照护、工业自动化分拣应用等。对于这些基于视频传感的大规模应用面临诸多问题需要解决：1)传感信息的实时处理对前端传感设备的成本提出了挑战；2)视频数据的实时传输对通讯网络产生了压力；3)视频数据的存储和传输对隐私保护问题带来了应用难点(如居家养老照护隐私问题)。这些都为边缘计算技术的应用带来了机会。其关键是构建高性能价格比的边缘计算架构、数据流汇集模型和应用支撑模式。基于GPU集群协同深度学习(Deep Learning-DL)边缘计算系统通过分解深度学习任务为2部分，一部分在前端智能传感器执行，另一部分在后端GPU集群并发执行。数以千计的前端智能传感器通过执行部分深度学习任务形成了AI数据流，并且需要把这些AI数据流发往后端。以小型GPU集群为中心的边缘计算模式可以有效解决局部大规模传感的汇集、传输、计算和存储的综合高性价比系统。然而面对数千个AI数据流的接入、集群内传输以及通信的可靠性问题都为业界带来了新的挑战，目前的相近的通信系统存在以下问题：1)大规模AI流都存在这并发周期性，也就是说，数千个流按照一定的周期传输数据流单元，GPU集群按照这个周期并行处理数千个数据流单元，这样可以有效发挥GPU及GPU集群的SPMD(Single Program Multi Data)的设备优势特性。然而，支持这种通信特性需求的系统还没见报导。2)外网传感节点通过流汇集节点把信息传入GPU计算集群，GPU计算集群内的节点也需要通过汇集节点传输信息到外部传感节点，增加了应用设计的复杂性。3)现有系统基于连接的的可靠数据流通信机制，限制了系统接入和并发处理数据流的规模，同时不具备灵活的迁移性，使得负载均衡的开销增大以及灵活性降低，不适合大规模的处理机制的扩展。

发明内容

本发明是针对大规模AI流对通信带来压力的问题，提出了一种面向大规模AI数据流处理的集群汇集通信系统,其通过动态配置节点，利用前端智能传感设备固有的周期地获取数据、传输数据的特点，把数千个AI传感特征并发传输到汇集集群网络中各个汇集节点，再根据GPU计算节点的计算任务和计算能力的特性把这些并发的数据流单元，传输到GPU集群中的计算节点并按照SPMD模式统一并行实时处理。

本发明的技术方案为：一种面向大规模AI数据流处理的集群汇集通信系统，系统包括数千个智能传感器节点组成的传感器系统、任务配置系统、数个汇集节点组成的汇集集群网络、GPU集群中计算节点组成的计算集群网络；调用任务配置系统中调配，把数千个AI传感特征并发传输到汇集集群网络中各个汇集节点，再根据GPU计算节点的计算任务和计算能力的特性将并发的数据流单元传输到GPU集群中的各个计算节点，并按照SPMD模式统一并行实时处理。

所述面向大规模AI数据流处理的集群汇集通信系统，系统数据结构：