[发明专利]面向大规模AI数据流处理的集群汇集通信系统

权利要求书

1.一种面向大规模AI数据流处理的集群汇集通信系统，其特征在于，系统包括数千个智能传感器节点组成的传感器系统、任务配置系统、数个汇集节点组成的汇集集群网络、GPU集群中计算节点组成的计算集群网络；调用任务配置系统中调配，把数千个AI传感特征并发传输到汇集集群网络中各个汇集节点，再根据GPU计算节点的计算任务和计算能力的特性将并发的数据流单元传输到GPU集群中的各个计算节点，并按照SPMD模式统一并行实时处理；

所述传感节点由发送进程、帧缓冲区、AI计算进程构成；AI计算进程从任务配置系统配置的全局配置目录中读取存储环境，AI计算进程从周期生成器获取当前计算周期，AI计算进程将收集视频传感数据帧转换为若干个AI数据流单元，送入帧缓冲区存储，并通知发送进程，由发送进程将AI数据流单元集合发送到汇集节点；

所述汇集节点由汇集进程、循环AI帧缓冲区、DMA发送进程构成；汇集进程根据自己节点标识符从任务配置系统配置的全局配置目录中查询并发流配置和循环AI帧缓冲区对象表，建立从传感节点接收的AI数据流单元集合与循环AI帧缓冲区的存储关系，汇集进程从周期生成器获取当前处理周期，接收来自多个不同智能传感节点的AI数据流单元集合，依据存储关系存入循环AI帧缓冲区，存储结束后通知DMA发送进程，发送该并发流的当前AI数据流单元集合到相应的计算节点,DMA发送进程按照DMA通信机制发送AI数据流单元集合到相应的计算节点；

所述计算节点由DMA接收进程、GPU计算进程、并发AI帧缓冲区构成，DMA接收进程根据自己节点标识符从任务配置系统配置的全局配置目录中查询并发流配置和并发AI帧缓冲区对象表，建立从汇集节点接收的AI数据流单元集合与并发AI帧缓冲区的存储关系，DMA接收进程从周期生成器获取当前处理周期，监听并接收汇集节点并发的AI数据流单元集合，并依据存储关系存入并发AI帧缓冲区，当并发AI帧缓冲区获取所有AI数据流的当前周期的AI帧后送往GPU设备实施大规模并行处理。

2.根据权利要求1所述面向大规模AI数据流处理的集群汇集通信系统，其特征在于，系统数据结构：

1)AI数据流为AIDS，包括DSid,AIframeS,Pt,其中DSid为数据流标识符；AIframeS为构成该数据流的AI帧的集合，其按照时间形成序列；Pt为该AI帧的处理的时间，包括感知、汇集、计算处理，即该AIframe必须在Pt内处理完毕；AI数据流通常由智能传感节点发起，经汇集节点汇集到边缘计算集群的计算节点；

2)AI帧为Aiframe，包括DSid，frameno，AIDSUS，Pt，其中DSid为该AI帧所隶属的数据流标识符；frameno为该AI帧自然序号；AIDSUS为构成该AI帧的AI数据流单元的集合；Pt为该AI帧的处理的时间；

3)AI数据流单元为AIDSU，包括DSid，frameno,uno，Timestamp，Data，DSUsta，其中DSid为该单元所隶属的数据流标识符；uno为该AI数据流单元在frameno帧内的序号；TimeStamp为该数据流单元的生成时间戳；Data为数据流单元的数据部分，Data可以是某通信协议下的数据、控制命令；DSUsta为该数据单元的状态，当DSUsta为END时，表示为该帧的最后数据流单元；一个AIDSU可通过一个物理通信包内传输；

4)处理周期生成器为PCM，包括PCid，PCtime，其中PCid为处理周期id，PCtime为该处理周期所用的时间；PCM以PCtime为间隔生成时间序列Pt0,Pt1,Pt2,......；

5)并发AI数据流为PAIDS，为同一汇集节点汇集到的相同处理周期的数据流的集合，这个汇集节点可以是针对大规模传感节点的汇集节点，也可以是嵌套在计算节点上的汇集来自多个汇集节点的PAIDS进而形成更大规模的PAIDS；PAIDS包括PDSid，DSS，CN，Pnum，Pctime，PDSid为PAIDS的标识符，DSS为构成该PAIDS的数据流；CN为汇集该PAIDS的汇集节点，Pnum为组成该PAIDS的数据流的个数；PCtime为该并发数据流的数据流单元处理周期，即PAIDS上的所有数据流的当前处理周期的Pnum个DSU以SPMD处理方式提交给GPU节点并行处理；

6)节点地址配置表NAC为NAC，包括id，Nname，IPa，Type，Pcp，Psuc，其中id为节点标识符；Nname为节点名称；IPa为节点的IP地址；Type为节点的类型，Type为0表示该节点为传感节点，Type为1表示该节点为汇集节点，Type为2表示该节点为计算节点，Pcp为该节点的通信处理能力，Psuc为该节点通信处理成功累计平均率；

7)流配置表为DSC，包括DSid，SNid，DNid，其中DSid为数据流标识符，来自AI数据流表；SNid为该AI数据流单元的源节点，来自节点地址配置表；DNid为该AI数据流单元的目标节点，来自节点地址配置表；

8)并发流配置表为PDSC，包括PDSid，SNid，DNid，DSS，其中PDSid为该并发AI数据流标识符，来自并发AI数据流表；PSNid为该并发AI数据流的源节点，来自节点地址配置表；PDNid为该并发AI数据流的目标节点，来自节点地址配置表；DSS为该并发AI数据流所包含的数据流的集合；

9)循环AI帧缓冲区对象表为CAIBT，包括Nid,AIframe[PL][AIBL],AIBL，rl，rbl，其中Nid为该表项所对应的汇集节点编号，AIframe[][]为PL个AI帧缓冲循环队列，每一行存放一个数据流的帧，一共有PL行，代表PL个AI数据流；AIBL为一个帧缓冲所能容纳AI数据流单元的个数，当一个数据流的AI数据流单元的个数大于AIBL时，再后接收到的AI数据流单元将存放于AIframe[][0],然后再存放于AIframe[][1],AIframe[][2],…,这样周而复始，循环下去；AIBL的大小根据通信丢包率rl和循环AI帧缓冲区缺失率rbl来调整；

10)并发AI帧缓冲区对象表为PAIBT，包括CNid,AIframe[PL][MAXFL],Mak[PL][MAXFL]),其中CNid为该表项所对应的计算节点编号；AIframe[][]为一个AI帧缓冲区，其长度为PL，每个数组元素对象存放一个数据流的帧，并且数组元素对象由若干个AI数据流单元构成，并且这些AI数据流单元按照他们各自的Timestamp顺序存储，每一行存放一个数据流的帧，一共有PL行，代表PL个AI数据流单元，MAXFL为PL个AI数据流单元中最大帧长度，为了GPU的SPMD计算需求，AIframe[][]一下存放了PL个AI数据流单元的当前时间周期的完整帧；Mak[PL][MAXFL]为标志矩阵，其矩阵元素与AIframe[PL][MAXFL]一一对应；对1＝i＝PL,1＝j＝MAXFL，当Mak[i][j]＝0时，意味着AIframe[i][j]所对应的AI数据流单元还没有收到；当Mak[i][j]＝1时，意味着AIframe[i][j]所对应的AI数据流单元已经收到；当Mak[i][j]＝NULL时，意味着AIframe[i][j]所对应的AI数据流单元在当前帧中无意义，即实际没有数据；当Mak[i][j]＝END时，意味着AIframe[i][j]所对应的AI数据流单元为组成该AI帧的最后一个AI数据流单元；

11)帧缓冲区表FB，包括Sid,AIframe[FL],p,其中Sid为传感节点id；AIframe[FL]为由FL个单元构成的缓冲区，每个单元存放一个AI数据流单元；p为指向该缓冲区当前可用单元；

12)全局配置目录存放于任务配置系统，其存放AI数据流表、AI数据流单元定义、处理周期生成器表、并发AI数据流表、节点地址配置表NAC、流配置表DSC、并发流配置表PDSC、循环AI帧缓冲区对象表、并发AI帧缓冲区对象表、帧缓冲区FB表。